如何获取整个数据框而不是列的平均值？

Question

如何获取 pandas 数据框中所有值（NaN 除外）的平均值？

pd.DataFrame.mean()

仅给出每列（或行，当设置

axis=1

时）的平均值，但我想要整个事物的平均值。而且

df.mean().mean()

并不是真正最明智的选择（见下文）。

请注意，在我的具体实际案例中，数据帧具有很大的多重索引，这使事情变得更加复杂。对于这并不重要的情况，人们可能会认为@EdChum 的答案更直接，在某些情况下这可能比更快的解决方案更可取。

示例代码

data1 = np.arange(16).reshape(4, 4)
df = pd.DataFrame(data=data1)

df.mean()
0    9.0
1    7.0
2    8.0
3    9.0
dtype: float64

df.mean().mean()
7.5

np.arange(16).mean()
7.5

有效，但如果我屏蔽 df 的部分内容（实际上，它是数百行/列的相关矩阵，其本质上有一半填充了冗余数据），它会变得有趣：

triang = np.triu_indices(4)
data2 = np.arange(4.,20.).reshape(4, 4)
data2[triang]=np.nan
df2 = pd.DataFrame(data=data2)

df2.mean().mean()
15.0

但是

(8. + 12. + 13. + 16. + 17. + 18.)/6

是

14.

除了编写某种手动执行上述操作的循环之外，如何才能最好地获得“真实”的意思？

Answer 1

您可以使用

numpy.nanmean

：

triang = np.triu_indices(4)
data2 = np.arange(4.,20.).reshape(4, 4)
data2[triang]=np.nan
df2 = pd.DataFrame(data=data2)

res = np.nanmean(df2)  # 14.0

也可以通过

stack

，如@EdChum所述，但速度较慢：

df2 = pd.concat([df2]*100000)

%timeit np.nanmean(df2)              # 14.0ms
%timeit df2.stack().dropna().mean()  # 55.7ms

如果您的数据仅为数字，您也可以完全消除 Pandas 开销。

Answer 2

您可以

stack

，然后

dropna

，然后致电

mean

：

In[201]:
df2.stack().dropna().mean()

Out[201]: 14.0

因此，这会将 df 转换为单列

Series

，然后您可以调用

dropna

删除

NaN

行，现在

mean

将正确计算

mean

。

Answer 3

解决方案在精神上与@EdChum类似，但使用numpy（默认计算展平数组的平均值）：

df.to_numpy().mean()

如果我们想避免 nan，可能的解决方案是

df[df.notna()].to_numpy().mean()

或

np.nanmean(df.to_numpy())

（

np.nanmean

与

np.mean

类似，但没有后缀形式。）