我正在绞尽脑汁地想弄清楚如何在 Python 的 Polars 库中使用
groupby
和 apply
。
来自 Pandas,我正在使用:
def get_score(df):
return spearmanr(df["prediction"], df["target"]).correlation
correlations = df.groupby("era").apply(get_score)
但在极地,这不起作用。
我尝试了几种方法,主要围绕:
correlations = df.groupby("era").apply(get_score)
但是失败并显示错误消息:
'可以获取 DataFrame 属性'_df'。确保返回一个 DataFrame 对象。: PyErr { type:
, value: AttributeError("'numpy.float64' object has no attribute '_df'"),
有什么想法吗?
从
polars>=0.10.4
开始,您可以使用 pl.spearman_rank_corr
功能。
如果你想使用自定义函数,你可以这样做:
import polars as pl
from typing import List
from scipy import stats
df = pl.DataFrame({
"g": [1, 1, 1, 2, 2, 2, 5],
"a": [2, 4, 5, 190, 1, 4, 1],
"b": [1, 3, 2, 1, 43, 3, 1]
})
def get_score(args: List[pl.Series]) -> pl.Series:
return pl.Series([stats.spearmanr(args[0], args[1]).correlation], dtype=pl.Float64)
(df.group_by("g", maintain_order=True)
.agg(
pl.apply(
exprs=["a", "b"],
function=get_score).alias("corr")
))
(df.group_by("g", maintain_order=True)
.agg(
pl.spearman_rank_corr("a", "b").alias("corr")
))
两个输出:
shape: (3, 2)
┌─────┬──────┐
│ g ┆ corr │
│ --- ┆ --- │
│ i64 ┆ f64 │
╞═════╪══════╡
│ 1 ┆ 0.5 │
├╌╌╌╌╌┼╌╌╌╌╌╌┤
│ 2 ┆ -1e0 │
├╌╌╌╌╌┼╌╌╌╌╌╌┤
│ 5 ┆ NaN │
└─────┴──────┘
我们还可以通过
.apply
或 .map
对单个表达式应用自定义函数。
下面是我们如何使用自定义函数和普通极坐标表达式对列求平方的示例。表达式语法 应该始终是首选,因为它要快得多。
(df.group_by("g")
.agg(
pl.col("a").apply(lambda group: group**2).alias("squared1"),
(pl.col("a")**2).alias("squared2")
))
apply
和map
有什么区别?map
适用于整个列series
。 apply
适用于单个值或单个组,具体取决于上下文。
select
上下文:map
Series
apply
Union[int, float, str, bool]
group_by
上下文:map
Series
apply
Series