如何在pandas数据帧中将单元格设置为NaN

Question

我想用NaN替换数据帧列中的错误值。

mydata = {'x' : [10, 50, 18, 32, 47, 20], 'y' : ['12', '11', 'N/A', '13', '15', 'N/A']}
df = pd.DataFrame(mydata)

df[df.y == 'N/A']['y'] = np.nan

虽然，最后一行失败并抛出警告，因为它正在处理df的副本。那么，处理这个问题的正确方法是什么？我已经看过许多使用iloc或ix的解决方案但是在这里，我需要使用布尔条件。

Answer 1

只需使用replace：

In [106]:
df.replace('N/A',np.NaN)

Out[106]:
    x    y
0  10   12
1  50   11
2  18  NaN
3  32   13
4  47   15
5  20  NaN

您正在尝试的是链索引：http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-view-versus-copy

您可以使用loc来确保您使用原始dF：

In [108]:
df.loc[df['y'] == 'N/A','y'] = np.nan
df

Out[108]:
    x    y
0  10   12
1  50   11
2  18  NaN
3  32   13
4  47   15
5  20  NaN

Answer 2

虽然使用replace似乎解决了这个问题，但我想提出一个替代方案。列中混合使用数字和一些字符串值的问题，不要将字符串替换为np.nan，而是要使整列正确。我敢打赌，原始列很可能属于对象类型

Name: y, dtype: object

你真正需要的是使它成为一个数字列（它将具有正确的类型并且会更快），所有非数字值都被NaN取代。

因此，良好的转换代码将是

pd.to_numeric(df['y'], errors='coerce')

指定errors='coerce'以强制无法解析为数值的字符串变为NaN。列类型将是

Name: y, dtype: float64

Answer 3

您可以使用替换：

df['y'] = df['y'].replace({'N/A': np.nan})

另请注意inplace的replace参数。你可以这样做：

df.replace({'N/A': np.nan}, inplace=True)

这将替换df中的所有实例而不创建副本。

同样，如果遇到其他类型的未知值，例如空字符串或无值：

df['y'] = df['y'].replace({'': np.nan})

df['y'] = df['y'].replace({None: np.nan})

参考：Pandas Latest - Replace

Answer 4

你可以试试这些片段。

In [16]:mydata = {'x' : [10, 50, 18, 32, 47, 20], 'y' : ['12', '11', 'N/A', '13', '15', 'N/A']}
In [17]:df=pd.DataFrame(mydata)

In [18]:df.y[df.y=="N/A"]=np.nan

Out[19]:df 
    x    y
0  10   12
1  50   11
2  18  NaN
3  32   13
4  47   15
5  20  NaN

Answer 5

df.loc[df.y == 'N/A',['y']] = np.nan

这解决了你的问题。使用double []，您正在处理DataFrame的副本。您必须在一次调用中指定确切的位置才能对其进行修改。