gensim主题建模中的内存不足问题

Question

我想在我非常庞大的语料库上成功运行LDAseq模型。我最终想从中提取100个主题。

我在ldaseq模型步骤中收到“内存不足”错误。这是因为我有一个巨大的令牌，并且我不想截断它。如何解决此内存问题？

• Windows-10-10.0.17763-SP0
• Python 3.6.5（v3.6.5：f59c0932b4，2018年3月28日，17:00:18）[MSC v.1900 64位（AMD64）]
• NumPy 1.17.0
• SciPy 1.3.0
• gensim 3.8.0
• FAST_VERSION 0

我的预期结果与文档中所示的相同。最后，我需要一个主题词和主题文档矩阵。

Answer 1

在gensim.corpora.MMcorpus]的MMCorpus上使用>它类似于易于构建的UCI Bow。https://radimrehurek.com/gensim/corpora/mmcorpus.html