假设我在熊猫中有以下数据框:
AA BB CC
date
05/03 1 2 3
06/03 4 5 6
07/03 7 8 9
08/03 5 7 1
我想将其转换为以下内容:
AA 05/03 1
AA 06/03 4
AA 07/03 7
AA 08/03 5
BB 05/03 2
BB 06/03 5
BB 07/03 8
BB 08/03 7
CC 05/03 3
CC 06/03 6
CC 07/03 9
CC 08/03 1
我该怎么做?
从宽到长转换的原因是,在下一阶段,我想根据日期和初始列名(AA、BB、CC)将这个数据框与另一个数据框合并。
pandas.melt
或pandas.DataFrame.melt
从宽变长:
df = pd.DataFrame({
'date' : ['05/03', '06/03', '07/03', '08/03'],
'AA' : [1, 4, 7, 5],
'BB' : [2, 5, 8, 7],
'CC' : [3, 6, 9, 1]
}).set_index('date')
df
AA BB CC
date
05/03 1 2 3
06/03 4 5 6
07/03 7 8 9
08/03 5 7 1
要转换,我们只需要重置索引然后熔化:
df = df.reset_index()
pd.melt(df, id_vars='date', value_vars=['AA', 'BB', 'CC'])
在
.reset_index
之后使用.melt
,无需指定value_vars
。
dfm = df.melt(ignore_index=False).reset_index()
date variable value
0 05/03 AA 1
1 06/03 AA 4
2 07/03 AA 7
3 08/03 AA 5
4 05/03 BB 2
5 06/03 BB 5
6 07/03 BB 8
7 08/03 BB 7
8 05/03 CC 3
9 06/03 CC 6
10 07/03 CC 9
11 08/03 CC 1
正如 George Liu 在 another answer 中所展示的,
pd.melt
是这个问题的惯用、灵活和快速的解决方案。不要为此使用unstack
。
unstack
返回具有多索引的系列:
In [38]: df.unstack()
Out[38]:
date
AA 05/03 1
06/03 4
07/03 7
08/03 5
BB 05/03 2
06/03 5
07/03 8
08/03 7
CC 05/03 3
06/03 6
07/03 9
08/03 1
dtype: int64
您可以在返回的系列上调用 reset_index:
In [39]: df.unstack().reset_index()
Out[39]:
level_0 date 0
0 AA 05-03 1
1 AA 06-03 4
2 AA 07-03 7
3 AA 08-03 5
4 BB 05-03 2
5 BB 06-03 5
6 BB 07-03 8
7 BB 08-03 7
8 CC 05-03 3
9 CC 06-03 6
10 CC 07-03 9
11 CC 08-03 1
或者构造一个带有多索引的数据框:
In [40]: pd.DataFrame(df.unstack())
Out[40]:
0
date
AA 05-03 1
06-03 4
07-03 7
08-03 5
BB 05-03 2
06-03 5
07-03 8
08-03 7
CC 05-03 3
06-03 6
07-03 9
08-03 1
除了
unstack
和melt
之外,stack
也可以在这里使用。
df1 = df.stack().reset_index(name='value')
# change "weird" column label
df1 = df.stack().reset_index(name='value').rename(columns={'level_1': 'variable'})
melt
、stack
和 unstack
都是非常快的方法,因此运行时差异在正常情况下几乎无关紧要。如果运行时是一个问题,也可以使用基于 numpy 的解决方案(比 melt
快大约 50%)。这个想法是简单地将框架中的值展平为一维数组,并重复索引和列标签。
df1 = pd.DataFrame({ 'variable': np.tile(df.columns, len(df)), 'date': df.index.repeat(df.shape[1]), 'value': df.values.ravel()})
如果不需要列标签作为单独的列,那么另一个真正快速的功能是
pd.lreshape
。
df1 = pd.lreshape(df.reset_index(), {'value': ['AA', 'BB', 'CC']})