如何使用这种形状的python和pandas堆叠数据?

问题描述 投票:0回答:1

我完全迷失了,需要您的帮助。我有N个数据集,每个数据集都有m列和以列表形式的x * N行。

x =主题数量

N =任务数量

param1&param2 =正在收敛的参数

每个数据集由每个主题的每种情况的线性模型参数组成

df_1= {'id': [1, 2], 'task': [1, 1], 'param1': [1, 2],'param2': [0.5,0.8]} 
df_1 = pd.DataFrame(df_1, columns = ['id', 'task','param1', 'param2'])

id  task    param1  param2 
1   1       1       0.5 
2   1       2       0.8

df_2= {'id': [1, 1, 2, 2], 'task': [1, 2, 1, 2], 'param1': [1.2, 3.2,
2.1, 3.2],'param2': [0.4, 1.1, 0.8, 2.2]} 
df_2 = pd.DataFrame(df_2, columns = ['id', 'task','param1', 'param2'])

id  task    param1  param2 
1   1       1.2     0.4 
1   2       3.2     1.1 
2   1       2.1     0.8 
2   2       3.2     2.2


df_3= {'id': [1, 1, 1, 2, 2, 2], 'task': [1, 2, 3, 1, 2, 3], 'param1': [1.1, 3.1, 2.2, 2.3, 3.2, 1.1],'param2': [0.35, 1.05, 0.7, 0.8, 2.2,
1.1]} 
df_3 = pd.DataFrame(df_3, columns = ['id', 'task','param1', 'param2'])

id  task    param1  param2 
1   1       1.1     0.35 
1   2       3.1     1.05 
1   3       2.2     0.7 
2   1       2.3     0.8 
2   2       3.2     2.2 
2   3       1.1     1.1

这种趋势一直持续到df_N,直到df_N中有x * N条线为止。

我需要将所有df堆叠在一起,并遵循一些规则,以便df_final仍将具有x * N行,但是对于每个id和每个任务,如果在将它们附加在一起之前有关于任务的信息,则顺序的列无所谓,列的dtype也无所谓,NA值不应为0。有关任务的信息应按人员的ID进行堆叠]

最终结果应如下所示:

id  task    1param1 1param2 2param1 2param2 3param1 3param3 
1   1       1       0.5 
1   2       1.2     0.4     3.2     1.1 
1   3       1.1     0.35    3.1     1.05    2.2     0.7 
2   1       2       0.8 
2   2       2.1     0.8     3.2     2.2 
2   3       2.3     0.8     3.2     2.2     1.1     1.1

非常感谢您的帮助!

编辑:抱歉,过长的格式,现在看起来已经完成了(这是出于科学目的)

python pandas dataframe append reshape
1个回答
0
投票

如果您的数据框在名为datasets的列表中,则可以执行以下操作:

final_df = pd.DataFrame(columns=['id','task'])
for i, df in enumerate(datasets):
    final_df = final_df.merge(df, how='outer', on=['id', 'task'], suffixes=(str(i),''), sort=True)
© www.soinside.com 2019 - 2024. All rights reserved.