我完全迷失了,需要您的帮助。我有N个数据集,每个数据集都有m列和以列表形式的x * N行。
x =主题数量
N =任务数量
param1&param2 =正在收敛的参数
每个数据集由每个主题的每种情况的线性模型参数组成
df_1= {'id': [1, 2], 'task': [1, 1], 'param1': [1, 2],'param2': [0.5,0.8]}
df_1 = pd.DataFrame(df_1, columns = ['id', 'task','param1', 'param2'])
id task param1 param2
1 1 1 0.5
2 1 2 0.8
df_2= {'id': [1, 1, 2, 2], 'task': [1, 2, 1, 2], 'param1': [1.2, 3.2,
2.1, 3.2],'param2': [0.4, 1.1, 0.8, 2.2]}
df_2 = pd.DataFrame(df_2, columns = ['id', 'task','param1', 'param2'])
id task param1 param2
1 1 1.2 0.4
1 2 3.2 1.1
2 1 2.1 0.8
2 2 3.2 2.2
df_3= {'id': [1, 1, 1, 2, 2, 2], 'task': [1, 2, 3, 1, 2, 3], 'param1': [1.1, 3.1, 2.2, 2.3, 3.2, 1.1],'param2': [0.35, 1.05, 0.7, 0.8, 2.2,
1.1]}
df_3 = pd.DataFrame(df_3, columns = ['id', 'task','param1', 'param2'])
id task param1 param2
1 1 1.1 0.35
1 2 3.1 1.05
1 3 2.2 0.7
2 1 2.3 0.8
2 2 3.2 2.2
2 3 1.1 1.1
这种趋势一直持续到df_N,直到df_N中有x * N条线为止。
我需要将所有df堆叠在一起,并遵循一些规则,以便df_final仍将具有x * N行,但是对于每个id和每个任务,如果在将它们附加在一起之前有关于任务的信息,则顺序的列无所谓,列的dtype也无所谓,NA值不应为0。有关任务的信息应按人员的ID进行堆叠]
最终结果应如下所示:
id task 1param1 1param2 2param1 2param2 3param1 3param3
1 1 1 0.5
1 2 1.2 0.4 3.2 1.1
1 3 1.1 0.35 3.1 1.05 2.2 0.7
2 1 2 0.8
2 2 2.1 0.8 3.2 2.2
2 3 2.3 0.8 3.2 2.2 1.1 1.1
非常感谢您的帮助!
编辑:抱歉,过长的格式,现在看起来已经完成了(这是出于科学目的)
如果您的数据框在名为datasets
的列表中,则可以执行以下操作:
final_df = pd.DataFrame(columns=['id','task'])
for i, df in enumerate(datasets):
final_df = final_df.merge(df, how='outer', on=['id', 'task'], suffixes=(str(i),''), sort=True)