pandas 分组并找到所有列的第一个非空值

Question

我有下面的 pandas DF，

id  age   gender  country  sales_year
1   None   M       India    2016
2   23     F       India    2016
1   20     M       India    2015
2   25     F       India    2015
3   30     M       India    2019
4   36     None    India    2019

我想按 id 分组，根据 sales_date 取最新的 1 行，所有非空元素。

预期输出，

id  age   gender  country  sales_year
1   20     M       India    2016
2   23     F       India    2016
3   30     M       India    2019
4   36     None    India    2019

在pyspark中，

df = df.withColumn('age', f.first('age', True).over(Window.partitionBy("id").orderBy(df.sales_year.desc())))

但我需要在熊猫中使用相同的解决方案。

编辑 :: 所有列都是这种情况。不仅仅是年龄。我需要它来为所有 id 获取最新的非空数据（id 存在）。

Answer 1

使用

GroupBy.first

：

df1 = df.groupby('id', as_index=False).first()
print (df1)
   id   age gender country  sales_year
0   1  20.0      M   India        2016
1   2  23.0      F   India        2016
2   3  30.0      M   India        2019
3   4  36.0    NaN   India        2019

如果列

sales_year

未排序：

df2 = df.sort_values('sales_year', ascending=False).groupby('id', as_index=False).first()
print (df2)
   id   age gender country  sales_year
0   1  20.0      M   India        2016
1   2  23.0      F   India        2016
2   3  30.0      M   India        2019
3   4  36.0    NaN   India        2019

Answer 2

print(df.replace('None',np.NaN).groupby('id').first())

• 首先用 NaN 替换'None'
• 接下来使用 groupby() 按 'id' 分组
• next 使用 first() 过滤掉第一行

Answer 3

使用 -

df.dropna(subset=['gender']).sort_values('sales_year', ascending=False).groupby('id')['age'].first()

输出

id
1    20
2    23
3    30
4    36
Name: age, dtype: object

删除

['age']

以获得完整的行-

df.dropna().sort_values('sales_year', ascending=False).groupby('id').first()

输出

   age gender country  sales_year
id                               
1   20      M   India        2015
2   23      F   India        2016
3   30      M   India        2019
4   36   None   India        2019

您可以将

id

放回带有

reset_index()

-

的列

df.dropna().sort_values('sales_year', ascending=False).groupby('id').first().reset_index()

输出

   id age gender country  sales_year
0   1  20      M   India        2015
1   2  23      F   India        2016
2   3  30      M   India        2019
3   4  36   None   India        2019