我有两个pandas数据框,如下所示。列'No'是一个普通字段。基于'No',我想替换第一个数据框列'Total'中的值。
条件是 : 凡是'No'匹配的地方,从dataframe2中获取'Marks1'的值,然后替换到'Total'栏中。如果'Marks1'是NULL,则从数据框2中获取'Marks2'的值,并替换到'Total'栏中。如果两个(Marks1Marks2)都是空的,则在'Total'列中替换为空。最后的结果应该是在数据框1中。这两个数据框都有几十万条记录,我有两个pandas数据框。
Data frame1
No|Total
1234|11
2515|21
3412|32
4854|
7732|53
Data frame2
No|Marks1|Marks2
1234|99|23
2515|98|31
3412||20
4854||98
7732||
Result :
No|Total
1234|99
2515|98
3412|20
4854|98
7732|
使用"..."。Series.map
替换缺失值 Marks1
由 Marks2
与 Series.fillna
:
df = df2.set_index('No')
df1['Total'] = df1['No'].map(df['Marks1'].fillna(df['Marks2']))
print (df1)
No Total
0 1234 99.0
1 2515 98.0
2 3412 20.0
3 4854 98.0
4 7732 NaN
如果可能的话 No
对于 df2
然后使用。
print (df2)
No Marks1 Marks2
0 1234 99.0 23.0 <- duplicated No
1 1234 98.0 31.0 <- duplicated No
2 3412 NaN 20.0
3 4854 NaN 98.0
4 7732 NaN NaN
#newer pandas versions
df = df2.set_index('No').sum(level=0, min_count=1)
#oldier pandas versions
#df = df2.set_index('No').sum(level=0)
print (df)
Marks1 Marks2
No
1234 197.0 54.0<- unique No, values are summed per index created by No
3412 NaN 20.0
4854 NaN 98.0
7732 NaN NaN
df1['Total'] = df1['No'].map(df['Marks1'].fillna(df['Marks2']))
print (df1)
No Total
0 1234 197.0
1 2515 NaN
2 3412 20.0
3 4854 98.0
4 7732 NaN
如果有相同的索引值在 df1
和 df2
而每个 No
值匹配使用。
df1['Total'] = df2['Marks1'].fillna(df2['Marks2'])
你可以使用 np.select
在这里。
m = df2['Marks1'].notna()
m1 = df2['Marks1'].isna() & df2['Marks2'].notna()
condlist = [m,m1]
choice = [df2['Marks1'] , df2['Marks2']]
df1['Total'] = np.select(condlist,choice,np.nan)
No Total
0 1234 99.0
1 2515 98.0
2 3412 20.0
3 4854 98.0
4 7732 NaN