Stanford CoreNLP服务器:减少内存占用

问题描述 投票:1回答:1

我正在使用Jupyter Lab中运行的Python脚本访问CoreNLP服务器。我正在使用完整的注释器套件来从报纸文章中提取引用。

request_params={'annotators': "tokenize,ssplit,pos,lemma,ner,depparse,coref,quote",...

与推荐的2GB相比,我已经分配了4GB而引用注释器无法加载。 Windows任务管理器长时间显示内存利用率> 94%。

我在哪里可以获得一些可以调整以改善内存使用的选项列表?

stanford-nlp
1个回答
1
投票

共参模型可能是罪魁祸首。如果您不关心引用归因,您可以设置-quote.attributeQuotes false而不使用coref,但是您将丢失引用归因。

我不确定确切数量,但我认为你应该在6GB-8GB范围内运行你问题中提出的整个管道。使用的模型占用了大量内存。我认为您在评论中设置的选项(“useSUTime”,“applyNumericClassifiers”)根本不会影响内存占用。

© www.soinside.com 2019 - 2024. All rights reserved.