如何在pandas数据帧中优化搜索

Question

我需要在Dataframe中搜索'mas'这个词，frase的列是Corpo，这个列中的文本被分成列表，例如：我喜欢鸟类--->分裂[我，像鸟类一样]。所以，我需要在葡萄牙语中搜索'mas'，并且只需要在'mas'之后搜索单词。代码需要很长时间才能执行此功能。

df.Corpo.update(df.Corpo.str.split()) #tokeniza frase
df.Corpo = df.Corpo.fillna('') 

for i in df.index:
  for j in range(len(df.Corpo[i])):
    lista_aux = []

    if df.Corpo[i][j] == 'mas' or df.Corpo[i][j] == 'porem' or df.Corpo[i][j] == 'contudo' or df.Corpo[i][j] == 'todavia':
        lista_aux = df.Corpo[i]
        df.Corpo[i] = lista_aux[j+1:]
        break

    if df.Corpo[i][j] == 'question':
        df.Corpo[i] = ['question']
        break

Answer 1

使用pandas数据帧（或numpy数组）时，您应该始终尝试使用向量化操作而不是for循环来覆盖单个数据帧元素。 Vectorized operations are (nearly always) significantly faster than for-loops.

在您的情况下，您可以使用pandas内置向量化操作str.extract，它允许提取与正则表达式搜索模式匹配的字符串部分。正则表达式搜索模式mas (.+)应该捕获'mas'之后的字符串部分。

import pandas as pd

# Example dataframe with phrases
df = pd.DataFrame({'Corpo': ['I like birds', 'I mas like birds', 'I like mas birds']})

# Use regex search to extract phrase sections following 'mas'
df2 = df.Corpo.str.extract(r'mas (.+)')

# Fill gaps with full original phrase
df2 = df2.fillna(df.Corpo)

将给出结果：

In [1]: df2
Out[1]:
              0
0  I like birds
1    like birds
2         birds