关于 NLP 词干和停用词

问题描述 投票:0回答:1

我刚刚开始使用机器学习中的 NLP。 我正在处理 Twitter 数据集的情绪分析 我感到困惑的部分是,如果我们在词干之前删除停用词,它不会影响诸如 -“我的食物不好”之类的负面评论,即使在这些情况下例外,即使不考虑其他情况像 不是 不是 这样的词 那我该怎么办?

我教过如何词干,然后删除停用词,但似乎不是个好主意

machine-learning nlp sentiment-analysis google-natural-language
1个回答
0
投票

这是进行情感分析的词袋方式的缺点之一。

当您使用转换器模型进行情感分析时,您不会删除停用词或词干词。它们可以提供更好的结果,尤其是对于较大的模型,但需要更多的内存和 CPU/GPU 资源。

因此,如果您必须坚持使用旧式情感分析,请从停用词列表中删除“not”,或者考虑根本不使用停用词。您还可以添加自定义短语来处理否定词和双重否定词,例如请参阅如何评估“双重否定”句子的情绪

© www.soinside.com 2019 - 2024. All rights reserved.