如何在python中实现N-gram语言模型?

问题描述 投票:0回答:0

我是 NLP 新手,想实现 Unigram、Bigram、Trigram 和 Fourgram 语言模型进行分类。我从 SI485i 学习了 NLP:NLP 并且没有找到任何使用该方法实现 N-gram 语言模型的库。例如,对于 Bigram,我学会了获取所有单词的矩阵,然后计算任意两个单词的组合。然后对于那些为零的,我们应该做平滑。但是我在图书馆(如 nltk)中看到的 N-gram 发现所有两个单词都跟着彼此,而不是全部。 所以我对如何在 Python 中实现 N-gram 语言模型感到困惑。你能帮我解决这个问题吗?

python nlp sentiment-analysis n-gram language-model
© www.soinside.com 2019 - 2024. All rights reserved.