Pans根据另一列中条件值的随机样本替换NaN值

Question

说我有一个像这样的数据框：

import pandas as pd
import numpy as np

np.random.seed(0)

df = {}
df['x'] = np.concatenate([np.random.uniform(0, 5, 4), np.random.uniform(5, 10, 4)])
df['y'] = np.concatenate([[0] * 4, [1] * 4])
df = pd.DataFrame(df)

df.loc[len(df) + 1] = [np.NaN, 0]
df.loc[len(df) + 1] = [np.NaN, 1]
df
Out[232]: 
           x    y
0   2.744068  0.0
1   3.575947  0.0
2   3.013817  0.0
3   2.724416  0.0
4   7.118274  1.0
5   8.229471  1.0
6   7.187936  1.0
7   9.458865  1.0
9        NaN  0.0
10       NaN  1.0

我想做的是根据基于NaN值的x值的随机样本填写y值。

例如，在y为0的第9行中，我想用仅从NaN值为0的x值中随机采样的数字替换y。实际上，从此列表中取样：

df[df['y'] == 0]['x'].dropna().values.tolist()
Out[233]: [2.7440675196366238, 3.5759468318620975, 3.0138168803582195, 2.724415914984484]

[同样，对于第10行，我仅基于y为1而不是0的'x'值进行采样。我无法找到一种以编程方式进行处理的方法（至少以这种方式这不是坏习惯，例如遍历数据框行）。

我咨询过Pandas: Replace NaN Using Random Sampling of Column Values，它向我展示了如何从一列中的所有值中随机抽样，但是我需要随机抽样以另一列的不同值为条件。我也看到了用条件均值（such as this）替换NaN的答案，但我希望随机抽样而不是使用均值。

Answer 1

[transform与choice

为了可读性我放弃了效率。请注意，我为每一行生成一个随机选择，但只选择我需要填写空值的数字。从理论上讲，我可以做到这样，我只为那些缺失的值选择随机数。

def f(s):
    mask = s.isna()
    return np.where(mask, np.random.choice(s[~mask], len(s)), s)

df.assign(x=df.groupby('y')['x'].transform(f))

           x    y
0   2.744068  0.0  # <━┓
1   3.575947  0.0  #   ┃
2   3.013817  0.0  #   ┃
3   2.724416  0.0  #   ┃
4   7.118274  1.0  #   ┃
5   8.229471  1.0  # <━╋━┓
6   7.187936  1.0  #   ┃ ┃
7   9.458865  1.0  #   ┃ ┃
9   2.744068  0.0  # <━┛ ┃
10  8.229471  1.0  # <━━━┛

---

稍微钝一些，但只选择我们需要的数量。

def f(s):
    out = s.to_numpy().copy()
    mask = s.isna().to_numpy()
    out[mask] = np.random.choice(out[~mask], mask.sum())
    return out

df.assign(x=df.groupby('y')['x'].transform(f))

           x    y
0   2.744068  0.0  # <━┓
1   3.575947  0.0  #   ┃
2   3.013817  0.0  #   ┃
3   2.724416  0.0  #   ┃
4   7.118274  1.0  # <━╋━┓
5   8.229471  1.0  #   ┃ ┃
6   7.187936  1.0  #   ┃ ┃
7   9.458865  1.0  #   ┃ ┃
9   2.744068  0.0  # <━┛ ┃
10  7.118274  1.0  # <━━━┛