使用 Python spaCy 进行命名实体识别

Question

我想使用 Python

spaCy

包编写命名实体识别系统。但是，我无法在

spaCy

包中安装本地语言。有谁可以告诉我如何安装或以其他方式使用我的本地语言吗？

我尝试过：

python -m spacy download xx_ent_wiki_sm

我感谢您的帮助！

Answer 1

spaCy

通过独立模型支持有限数量的语言。如果您的语言是以下之一：

中文、丹麦语、荷兰语、英语、法语、德语、希腊语、意大利语、日语、立陶宛语、挪威语、博克马尔语、波兰语、葡萄牙语、罗马尼亚语或西班牙语

然后您可以通过首先通过您发布的类似命令安装模型来加载模型，例如：

# Lithuanian language
python -m spacy download lt_core_news_sm

# Japanese language
python -m spacy download ja_core_news_sm

您必须在命令行（终端）中运行此命令。模型下载完成并链接后，您可以像这样导入：

import spacy

# Loading the Japanese language model.
nlp = spacy.load("ja_core_news_sm")

spaCy

还支持多语言模型，如果您的语言不支持其自己的模型，您可以尝试使用该模型。为此，您可以这样做（看起来您已经尝试在提供的命令中安装它）：

# In command line
python -m spacy download xx_ent_wiki_sm

# In Python
import spacy
nlp = spacy.load("xx_ent_wiki_sm")

但是，不要期望使用多语言模型获得最先进的结果，因为它没有像其他模型那样针对单一语言进行专门训练。