如果初始groupby找不到满足掩码条件的第一行，如何更改groupby列？

Question

这是我的数据框：

import pandas as pd
df = pd.DataFrame(
    {
        'main': ['x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'x', 'y', 'y', 'y', 'y', 'y', 'y', 'y'],
        'sub': ['c', 'c', 'c', 'd', 'd', 'e', 'e', 'e', 'e', 'f', 'f', 'f', 'f', 'g', 'g', 'g'],
        'num_1': [10, 9, 80, 80, 99, 101, 110, 222, 90, 1, 7, 10, 2, 10, 95, 10],
        'num_2': [99, 99, 99, 102, 102, 209, 209, 209, 209, 100, 100, 100, 100, 90, 90, 90]
    }
)

这是我的预期输出。我想添加列

result

:

   main sub  num_1  num_2  result
0     x   c     10     99     101
1     x   c      9     99     101
2     x   c     80     99     101
3     x   d     80    102     110
4     x   d     99    102     110
5     x   e    101    209     222
6     x   e    110    209     222
7     x   e    222    209     222
8     x   e     90    209     222
9     y   f      1    100     NaN
10    y   f      7    100     NaN
11    y   f     10    100     NaN
12    y   f      2    100     NaN
13    y   g     10     90      95
14    y   g     95     90      95
15    y   g     10     90      95

面膜是：

mask = (df.num_1 > df.num_2)

过程是这样开始的：

a)

groupby

列是

sub

b) 找到满足每组掩码条件的第一行。

c) 将

num_1

的值放入

result

如果没有满足掩码条件的行，则将

groupby

列更改为

main

以查找

mask

的第一行。此阶段有条件：

使用

subs

作为

main

列时，不应考虑之前的

groupby

。

d

列中

sub

组的上述步骤示例：

a)

sub

是

groupby

列。

b)

d

组中没有行

df.num_1 > df.num_2

所以现在对于组

d

，它的

main

组被搜索。然而，

c

组也属于这个

main

组。由于它位于

d

组之前，因此

c

组不应计入此步骤。

在这张图片中，我展示了这些值的来源：

这是我的尝试。它部分解决了某些群体的问题，但不是全部：

def step_a(g):
    mask = (g.num_1 > g.num_2)

    g.loc[mask.cumsum().eq(1) & mask, 'result'] = g.num_1
    g['result'] = g.result.ffill().bfill()
    return g

a = df.groupby('sub').apply(step_a)

Answer 1

IIUC，您可以使用 numpy 广播为每个“main”形成一个掩码，并使用它来查找第一个 num1>num2，同时仅考虑下一组：

def find(g):
    # get sub as 0,1,2…
    sub = pd.factorize(g['sub'])[0]
    # convert inputs to numpy
    n1 = g['num_1'].to_numpy()
    n2 = g.loc[~g['sub'].duplicated(), 'num_2'].to_numpy()
    # form mask
    # (n1[:, None] > n2) -> num_1 > num_2
    # (sub[:, None] >= np.arange(len(n2))) -> exclude previous groups
    m = (n1[:, None] > n2) & (sub[:, None] >= np.arange(len(n2)))
    # find first True per column
    return pd.Series(np.where(m.any(0), n1[m.argmax(0)], np.nan)[sub],
                     index=g.index)


df['result'] = df.groupby('main', group_keys=False).apply(find)

请注意，您可以轻松调整掩码以执行其他逻辑（在接下来的 n 组中搜索、排除除前一组之外的所有先前组等）。

输出：

# example 1                               # example 2 (from comments)
   main sub  num_1  num_2  result            main sub  num_1  num_2  result
0     x   c     10     99   101.0         0     x   d     10    102   110.0
1     x   c      9     99   101.0         1     x   d      9    102   110.0
2     x   c     80     99   101.0         2     x   c     80     99   101.0
3     x   d     80    102   110.0         3     x   c     80     99   101.0
4     x   d     99    102   110.0         4     x   c     99     99   101.0
5     x   e    101    209   222.0         5     x   e    101    209   222.0
6     x   e    110    209   222.0         6     x   e    110    209   222.0
7     x   e    222    209   222.0         7     x   e    222    209   222.0
8     x   e     90    209   222.0         8     x   e     90    209   222.0
9     y   f      1    100     NaN         9     y   f      1    100     NaN
10    y   f      7    100     NaN         10    y   f      7    100     NaN
11    y   f     10    100     NaN         11    y   f     10    100     NaN
12    y   f      2    100     NaN         12    y   f      2    100     NaN
13    y   g     10     90    95.0         13    y   g     10     90    95.0
14    y   g     95     90    95.0         14    y   g     95     90    95.0
15    y   g     10     90    95.0         15    y   g     10     90    95.0

中间掩模

m

，这里是第二个例子：

# main == 'x'
#          99    102    209
array([[False, False, False],  #  10
       [False, False, False],  #   9
       [False, False, False],  #  80
       [False, False, False],  #  80
       [False, False, False],  #  99
       [False,  True, False],  # 101
       [ True,  True, False],  # 110
       [ True,  True,  True],  # 222
       [False, False, False]]) #  90
# out:    110    101    222


# main == 'y'
#         100     90
array([[False, False],  #   1
       [False, False],  #   7
       [False, False],  #  10
       [False, False],  #   1
       [False, False],  #  10
       [False,  True],  #  95
       [False, False]]) #  90
# out:    NaN     95

Answer 2

代码

定义自定义函数

def get_result(d):
    cond = d['num_1'].gt(d['num_2'])
    if cond.sum() > 0:
        target = d['num_1'].where(cond).bfill().iloc[0]        
    else:
        df1 = df[df['main'].eq(d['main'].iloc[0])]
        s1 = df1['num_2'].where(df1['sub'].eq(d['sub'].iloc[0])).ffill()
        target = df1['num_1'].where(df1['num_1'].gt(s1)).bfill().iloc[0]

    return pd.Series(target, index=d.index)

制作

result

专栏

df['result'] = df.groupby(['main', 'sub'], group_keys=False).apply(get_result)

df：

   main sub  num_1  num_2  result
0     x   c     10     99   101.0
1     x   c      9     99   101.0
2     x   c     80     99   101.0
3     x   d     80    102   110.0
4     x   d     99    102   110.0
5     x   e    101    209   222.0
6     x   e    110    209   222.0
7     x   e    222    209   222.0
8     x   e     90    209   222.0
9     y   f      1    100     NaN
10    y   f      7    100     NaN
11    y   f     10    100     NaN
12    y   f      2    100     NaN
13    y   g     10     90    95.0
14    y   g     95     90    95.0
15    y   g     10     90    95.0