Pandas Lookup 将被弃用 - 优雅高效的替代方案

问题描述 投票:0回答:4

Pandas 查找功能将在未来版本中弃用。正如警告所建议的那样,建议使用

.melt
.loc
作为替代。

df = pd.DataFrame({'B': ['X', 'X' , 'Y', 'X', 'Y', 'Y', 
                         'X', 'X', 'Y', 'Y', 'X', 'Y'],
                   'group': ["IT", "IT", "IT", "MV", "MV", "MV", 
                             "IT", "MV", "MV", "IT", "IT", "MV"]})

a = (pd.concat([df, df['B'].str.get_dummies()], axis=1)
     .groupby('group').rolling(3, min_periods=1).sum()
     .sort_index(level=1).reset_index(drop=True))        

df['count'] = a.lookup(df.index, df['B'])

>  Output Warning:  <ipython-input-16-e5b517460c82>:7: FutureWarning:
> The 'lookup' method is deprecated and will be  removed in a future
> version. You can use DataFrame.melt and DataFrame.loc as a substitute.

然而,替代方案似乎不够优雅且速度较慢:

b = pd.melt(a, value_vars=a.columns, var_name='B', ignore_index=False)
b.index.name='index'
df.index.name='index'
df = df.merge(b, on=['index','B'])

是否有更优雅、更有效的方法?

python pandas dataframe lookup
4个回答
3
投票

看起来,你可以直接使用索引来赋值。

dfn = df.set_index('B', append=True)
dfn['count'] = a.stack()

1
投票

一个想法是使用

DataFrame.stack
DataFrame.join
f进行
index
B
的匹配:

df1 = df.rename_axis('i').join(a.stack().rename('count'), on=['i','B'])
print (df1)
    B group  count
i                 
0   X    IT    1.0
1   X    IT    2.0
2   Y    IT    1.0
3   X    MV    1.0
4   Y    MV    1.0
5   Y    MV    2.0
6   X    IT    2.0
7   X    MV    1.0
8   Y    MV    2.0
9   Y    IT    2.0
10  X    IT    2.0
11  Y    MV    2.0

1
投票

您需要使用索引查找来替换已弃用的

lookup

idx, cols = pd.factorize(df['B'])

df['count'] = a.reindex(cols, axis=1).to_numpy()[np.arange(len(df)), idx]

输出:

    B group  count
0   X    IT    1.0
1   X    IT    2.0
2   Y    IT    1.0
3   X    MV    1.0
4   Y    MV    1.0
5   Y    MV    2.0
6   X    IT    2.0
7   X    MV    1.0
8   Y    MV    2.0
9   Y    IT    2.0
10  X    IT    2.0
11  Y    MV    2.0

0
投票

其他解决方案假设您要在 DataFrame 的所有行中执行查找,而您的示例实际上确实这样做了。但是,原始函数允许查找构成要查找的一组坐标对的行索引列表和列名称列表。

以下方法允许使用此完整功能,并且似乎与 df.lookup 的工作时间大致相同(稍快):

a.to_numpy()[a.index.get_indexer(df.index), a.columns.get_indexer(df['B'])]

或者将其放入与旧 df.lookup API 更匹配的代码中:

df.to_numpy()[df.index.get_indexer(row_labels), df.columns.get_indexer(col_labels)]

我在一个非常小和一个中等大(100k x 4)DataFrame 上测试了旧的查找函数和这种新方法 100k 次,在这两种情况下,这种替代方法运行速度略快(39 秒比 41.5 秒)

© www.soinside.com 2019 - 2024. All rights reserved.