关键词 - 在信息检索系统中搜索同义词

问题描述 投票:0回答:1

我开发了一个chatbot来为用户输入提供正确的答案。现在,我正在努力解决如何正确读取数据库/知识库或只是json文件以提取正确答案。在我的用例中,我有很多关键字名称/实体和同义词。因此,手动在NLU训练文件中编写同义词是个坏主意。我的数据库文件首先列出了关键字,然后针对属于该实体的每个意图分离答案。你如何处理这种关键词搜索以及用户给出的略有不同的关键词/同义词?

我对此标准方法感兴趣,将来我想申请NLP可能就像我的自定义案例中的单词emebedding。

machine-learning nlp information-retrieval natural-language-processing
1个回答
-1
投票

GloVe是用于获得单词语义向量的预训练模型,其结合了全局矩阵分解和局部上下文窗口。使用字典项的哈希表,可以在哈希表中搜索关键字以及该关键字的值。作为GloVe页面中的示例,如果它是下面的单词之一,您可以将查询匹配为frog:

frog
frogs
toad
litoria
leptodactylidae
rana
lizard
eleutherodactylus 

如果您不希望您的模型匹配超出普通人类词汇量的单词,您可以在自己的语料库中训练GloVe模型。

© www.soinside.com 2019 - 2024. All rights reserved.