将数据框与其中一个列中的dict数据相连接

Question

我的数据如下：

>>> df = pd.DataFrame({'order_id': ['A', 'B'],
..                    'items': [[{'item': 1, 'color': 'blue' },
...                               {'item': 2, 'color': 'red'  }],
...                              [{'item': 3, 'color': 'green'},
...                               {'item': 2, 'color': 'pink' }]]},
...                   columns= ['order_id', 'items'])
>>> df
  order_id                                                          items
0        A    [{'item': 1, 'color': 'blue'}, {'item': 2, 'color': 'red'}]
1        B  [{'item': 3, 'color': 'green'}, {'item': 2, 'color': 'pink'}]

列items包含我想要作为数据帧列的dicts：

  order_id        item         color
0        A           1          blue
1        A           2           red
2        B           3         green
3        B           2          pink

即，该词典中的每一项都应该有一个自己的行。

到目前为止我所做的是逐行迭代并在新的数据帧中创建数据：

df2 = pd.DataFrame(columns=['order_id', 'item', 'color'])
for row in df.iterrows():
    for items in (row[1]['items']):
        df2.loc[-1] =[row[1]['order_id'], items['item'], items['color'] ]
        df2.index += 1

这给了我需要的结果：

>>> df2
  order_id item  color
3        A    1   blue
2        A    2    red
1        B    3  green
0        B    2   pink

有更有效的方法吗？可能在没有创建另一个对象并复制所有现有列的情况下，因为我正在处理大量数据？

Answer 1

repeat, join, len

order_id = df.order_id.values.repeat(df['items'].str.len())
items = pd.DataFrame(np.concatenate(df['items']).tolist())

items.assign(order_id=order_id)

   color  item order_id
0   blue     1        A
1    red     2        A
2  green     3        B
3   pink     2        B

---

Comprehension

pd.DataFrame([{**{'order_id': o}, **i} for o, I in df.values for i in I])

   color  item order_id
0   blue     1        A
1    red     2        A
2  green     3        B
3   pink     2        B

Answer 2

IIUC使用concat

pd.concat([pd.DataFrame(x) for x in df.set_index('order_id')['items']],keys=df.order_id).reset_index(level=0)
Out[486]: 
  order_id  color  item
0        A   blue     1
1        A    red     2
0        B  green     3
1        B   pink     2