Pandas 按名称将多组列融合成多个目标列

Question

我想将数据帧的几组列融合成多个目标列。类似于问题 Python Pandas Melt Groups of Initial Columns Into Multiple Target Columns 和 pandas dataframe reshaping/stacking of multiple valuevariables into multiple columns。但是，我需要通过列名称显式执行此操作，而不是通过索引位置。

import pandas as pd
df = pd.DataFrame([('a','b','c',1,2,3,'aa','bb','cc'), ('d', 'e', 'f', 4, 5, 6, 'dd', 'ee', 'ff')],
                  columns=['a_1', 'a_2', 'a_3','b_1', 'b_2', 'b_3','c_1', 'c_2', 'c_3'])
df

原始数据框：

    id   a_1  a_2  a_3  b_1  b_2  b_3  c_1  c_2  c_3
0   101   a    b    c    1    2    3    aa   bb   cc
1   102   d    e    f    4    5    6    dd   ee   ff

目标数据框

     id   a   b   c
0   101   a   1   aa
1   101   b   2   bb
2   101   c   3   cc
3   102   d   4   dd
4   102   e   5   ee
5   102   f   6   ff

非常感谢对此方法的建议。

Answer 1

有一种更有效的方法可以解决此类问题，涉及熔化多组不同的色谱柱。 pandas 函数 Wide_to_long 是针对这些具体情况而构建的。

pd.wide_to_long(df, stubnames=['a', 'b', 'c'], i='id', j='dropme', sep='_')\
  .reset_index()\
  .drop('dropme', axis=1)\
  .sort_values('id')

    id  a  b   c
0  101  a  1  aa
2  101  b  2  bb
4  101  c  3  cc
1  102  d  4  dd
3  102  e  5  ee
5  102  f  6  ff

Answer 2

您可以根据列模式将列名称转换为多索引，然后根据您需要的结果堆叠在特定级别：

import pandas as pd
df.set_index('id', inplace=True)
df.columns = pd.MultiIndex.from_tuples(tuple(df.columns.str.split("_")))
df.stack(level = 1).reset_index(level = 1, drop = True).reset_index()

# id    a   b    c      
#101    a   1   aa
#101    b   2   bb
#101    c   3   cc
#102    d   4   dd
#102    e   5   ee
#102    f   6   ff

Answer 3

cols = df.columns.difference(['id'])

pd.lreshape(df, cols.groupby(cols.str.split('_').str[0])).sort_values('id')
Out: 
    id  a   c  b
0  101  a  aa  1
2  101  b  bb  2
4  101  c  cc  3
1  102  d  dd  4
3  102  e  ee  5
5  102  f  ff  6

Answer 4

一个选项是来自 pyjanitor 的 pivot_longer，它抽象了流程，并且效率很高：

# pip install janitor
import janitor

df.pivot_longer(
    index = None, 
    names_to = '.value', 
    names_pattern = '([a-z]+)_*')

   a  b   c
0  a  1  aa
1  d  4  dd
2  b  2  bb
3  e  5  ee
4  c  3  cc
5  f  6  ff

此特定重塑的想法是，正则表达式中与

.value

配对的任何组都保留为列标题。