我有一个Python Pandas数据框,在这里我需要对其中两列中的单词进行定形。我正在为此使用spacy。
import spacy
nlp = spacy.load("en")
我正在尝试根据该示例使用词条还原(效果很好):
doc3 = nlp(u"this is spacy lemmatize testing. programming books are more better than others")
for token in doc3:
print (token, token.lemma, token.lemma_)
我已经对此进行了重写,以遍历数据框中某列的每一行:
for row in example['col1']:
for token in row:
print(token.lemma_)
但是,这种方法行之有效,我无法弄清楚如何用经过修饰的单词替换col1中的单词。
我已经尝试过了,它不会返回错误,但是也不会替换任何单词。知道出了什么问题吗?
for row in example['col1']:
for token in row:
token = token.lemma_
在代码的最后一个for
循环中,您反复向变量token
分配其属性token.lemma_
,然后一次又一次地执行此操作(在每次迭代时都覆盖此值,而不跟踪先前的值) 。
相反,假设您的数据框包含字符串,如
example = pd.DataFrame({"col1":["this is spacy lemmatization testing.", "some programming books are better than others", "sounds like a quote from the Smiths"]})
apply
和列表理解可以通过以下方式完成这项工作:
example["col1"].apply(lambda row: " ".join([w.lemma_ for w in nlp(row)]))