使用什么型号莎NLU实体提取?它是LSTM或只是一个简单的神经网络?

问题描述 投票:0回答:1

使用RASA NLU提取字嵌入后的实体和意图是什么样的模式是什么?

neural-network nlp rasa-nlu named-entity-extraction
1个回答
0
投票

这从莎blog post澄清某些方面。

随着莎将首先列车将每个文档中的N维向量,其中N是你的词汇量的大小的矢量器。这正是scikit学习的CountVectorizer一样。

每一个嵌入的意图,而不是被建为一个热载体(或更多1s一个载体,如果你有“混”的意图)。每个这些载体具有文档嵌入相同的尺寸,所以我想N实际上可能是(词汇量)+(数意图的)。

在这一点上莎将训练神经网络:其中损失函数旨在最大限度地提高文档d和意图i之间的相似性,如果d标记为训练集中i(默认2个隐藏层)(与减少d的相似度所有其他意图的嵌入)。相似度是余弦相似度计算的默认值。

每个新的,未知文件被计算为每个意图的神经网络及其相似嵌入。这是最相似的新文档的意图将返回为已预测标签。


老答案:

这不是一个LSTM。他们说,他们的做法是通过Facebook的StarSpace启发。

我没有发现上面非常enlightning纸,但是看着Starspace的GitHub库中,text classification use case据说有相同的设置为他们以前的工作标签空间。

所述TagSpace paper更清晰并解释它们如何使用CNN嵌入在一个空间中的每个文件,使得其向相关联的类矢量距离被最小化。这两个词,文件和类(“标签”)被嵌入在同一d维空间和它们的距离通过余弦相似性或内积测定。

© www.soinside.com 2019 - 2024. All rights reserved.