数据帧序列检测：查找连续三行具有负值的组

Question

假设我有一列df['test']：

-1, -2, -3, 2, -4, 3, -5, -4, -3, -7

所以我想过滤出连续至少有三个负值的组。所以

groups = my_grouping_function_by_sequence()
groups[0] = [-1,-2-3]
groups[1] = [-5,-4,-3,-7] 

是否有一些预先确定的检查，以检验熊猫的数字数据中的序列？它不一定是大熊猫，但我正在寻找一种快速且适应性强的解决方案。任何意见将是有益的。谢谢！

Answer 1

使用GroupBy和cumsum创建连续的负数组。

grps = df['test'].gt(0).cumsum()
dfs = [d.dropna() for _, d in df.mask(df['test'].gt(0)).groupby(grps) if d.shape[0] >= 3]

输出

for df in dfs:
    print(df)

   test
0  -1.0
1  -2.0
2  -3.0
   test
6  -5.0
7  -4.0
8  -3.0
9  -7.0

---

说明

让我们逐步进行以下操作：第一行，为连续的负数创建组

print(grps)
0    0
1    0
2    0
3    1
4    1
5    2
6    2
7    2
8    2
9    2
Name: test, dtype: int32

但是正如我们所看到的，它还包括正数，我们不想在输出中考虑这些正数。因此，我们使用DataFrame.mask将这些值转换为NaN：

df.mask(df['test'].gt(0))
# same as df.mask(df['test'] > 0)

   test
0  -1.0
1  -2.0
2  -3.0
3   NaN
4  -4.0
5   NaN
6  -5.0
7  -4.0
8  -3.0
9  -7.0

然后我们在此数据帧上分组，只保留>= 3行的组：

for _, d in df.mask(df['test'].gt(0)).groupby(grps):
    if d.shape[0] >= 3:
        print(d.dropna())

   test
0  -1.0
1  -2.0
2  -3.0
   test
6  -5.0
7  -4.0
8  -3.0
9  -7.0

Answer 2

@@ Erfan，您的回答非常出色，我仍在努力理解第二行。您的第一行使我开始尝试以我自己的效率较低的方式编写它。

import pandas as pd
df = pd.DataFrame({'test': [-1, -2, -3, 2, -4, 3, -5, -4, -3, -7]})
df['+ or -'] = df['test'].gt(0)
df['group'] = df['+ or -'].cumsum()

df_gb = df.groupby('group').count().reset_index().drop('+ or -', axis=1)

df_new = pd.merge(df, df_gb, how='left', on='group').drop('+ or -', axis=1)
df_new = df_new[(df_new['test_x'] < 0) & (df_new['test_y'] >=3)].drop('test_y', 
axis=1)

for i in df_new['group'].unique():
    j = pd.DataFrame(df_new.loc[df_new['group'] == i, 'test_x'])
    print(j)

Answer 3

太承认@erfan的回答很优雅，但并不容易理解。我在下面的尝试。

df = pd.DataFrame({'test': [-1, -2, -3, 2, -4, 3, -5, -4, -3, -7]})

有条件地选择带负数的行

df['j'] = np.where(df['test']<0,1,-1)
df['k']=df['j'].rolling(3, min_periods=1).sum()
df2=df[df['k']==3]

slice 迭代地，数据帧在上方获得第3和2个连续行

for index, row in df2.iterrows():
    print(df.loc[index - 2 : index + 0, 'test'])