从数据帧中删除重复项，基于两列A，B，并在另一列C中保持最大值的行

Question

我有一个熊猫数据框，其中包含根据两列（A和B）重复的值：

A B C
1 2 1
1 2 4
2 7 1
3 4 0
3 4 8

我想删除重复项，使行在C列中保持最大值。这将导致：

A B C
1 2 4
2 7 1
3 4 8

我不知道该怎么做。我应该使用drop_duplicates()，还是其他名称？

Answer 1

您可以使用分组依据：

c_maxes = df.groupby(['A', 'B']).C.transform(max)
df = df.loc[df.C == c_maxes]

c_maxes是每个组中Series的最大值的C，但与df具有相同的长度和相同的索引。如果您没有使用.transform，那么打印c_maxes可能是一个好主意，以了解其工作原理。

使用drop_duplicates的另一种方法是

df.sort('C').drop_duplicates(subset=['A', 'B'], take_last=True)

[不确定哪种方法更有效，但我猜第一种方法不涉及排序。

编辑：从pandas 0.18到第二个解将是

df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')

或替代地，

df.sort_values('C', ascending=False).drop_duplicates(subset=['A', 'B'])

无论如何，groupby解决方案的表现似乎要好得多：

%timeit -n 10 df.loc[df.groupby(['A', 'B']).C.max == df.C]
10 loops, best of 3: 25.7 ms per loop

%timeit -n 10 df.sort_values('C').drop_duplicates(subset=['A', 'B'], keep='last')
10 loops, best of 3: 101 ms per loop

Answer 2

您可以简单地通过使用熊猫掉落重复项功能来做到这一点

df.drop_duplicates(['A','B'],keep= 'last')

Answer 3

我认为groupby应该起作用。

df.groupby(['A', 'B']).max()['C']

如果需要返回数据框，则可以链接重置索引调用。

df.groupby(['A', 'B']).max()['C'].reset_index()

Answer 4

您可以根据需要使用drop_duplicates完成此操作

# initialisation
d = pd.DataFrame({'A' : [1,1,2,3,3], 'B' : [2,2,7,4,4],  'C' : [1,4,1,0,8]})

d = d.sort_values("C", ascending=False)
d = d.drop_duplicates(["A","B"])

如果重要的是要获得相同的订单

d = d.sort_index()