按组分类的Pandas Dataframe中列表的重复计数

Question

我有一个Dataframe，目前看起来像这样：

image         source                               label
bookshelf     A                      [flora, jar, plant]
bookshelf     B                    [indoor, shelf, wall]
bookshelf     C             [furniture, shelf, shelving]
cactus        A                     [flora, plant, vine]
cactus        B                [building, outdoor, tree]
cactus        C                  [home, house, property]
cars          A          [parking, parking lot, vehicle]
cars          B                     [car, outdoor, tree]
cars          C            [car, motor vehicle, vehicle]

我想得到的是每label每个source的重复images计数，即：

1. 对于image书架，来源B和C共享“货架”标签（B + = 1; C + = 1）
2. 对于image仙人掌，没有来源共享相同的标签
3. 对于image汽车，来源B和C共享标签“car”（B + = 1; C + = 1），而来源A和C共享标签“vehicle”（A + = 1; C + = 1）

响应对象将是源共享标签的次数。在上面的例子中，（1）将B和C计数各增加1，（3）将B和C计数各增加1，A和C计数各增加1：

{ 'A': 1, 'B': 2, 'C': 3 }

可重复的例子：

from pandas import DataFrame
df = DataFrame({
  'image': ['bookshelf', 'bookshelf', 'bookshelf',
            'cactus', 'cactus', 'cactus',
            'cars', 'cars', 'cars'],
  'source': ['A', 'B', 'C',
             'A', 'B', 'C',
             'A', 'B', 'C'],
  'label': [
    ['flora', 'jar', 'plant'],
    ['indoor', 'shelf', 'wall'],
    ['furniture', 'shelf', 'shelving'],
    ['flora', 'plant', 'vine'],
    ['building', 'outdoor', 'tree'],
    ['home', 'house', 'property'],
    ['parking', 'parking lot', 'vehicle'],
    ['car', 'outdoor', 'tree'],
    ['car', 'motor vehicle', 'vehicle']]
  },
  columns = ['image', 'source', 'label']
)

虽然每个源/图像通常有3个标签，但这不能保证。

关于如何以良好的性能实现这一目标的任何想法？我有几百万条记录要像它一样处理......

Answer 1

这应该做的工作：

from collections import Counter
sources = df['source'].unique()
output = {source: 0 for source in sources}
for image, sub_df in df.groupby('image'):
    counts = Counter(sub_df['label'].sum())
    for image, source, labels in sub_df.itertuples(index=False):
        for label in labels:
            output[source] += counts[label] - 1
print(output)