使用RASA NLU提取字嵌入后的实体和意图是什么样的模式是什么?
这从莎blog post澄清某些方面。
随着莎将首先列车将每个文档中的N
维向量,其中N
是你的词汇量的大小的矢量器。这正是scikit学习的CountVectorizer一样。
每一个嵌入的意图,而不是被建为一个热载体(或更多1
s一个载体,如果你有“混”的意图)。每个这些载体具有文档嵌入相同的尺寸,所以我想N
实际上可能是(词汇量)+(数意图的)。
在这一点上莎将训练神经网络:其中损失函数旨在最大限度地提高文档d
和意图i
之间的相似性,如果d
标记为训练集中i
(默认2个隐藏层)(与减少d
的相似度所有其他意图的嵌入)。相似度是余弦相似度计算的默认值。
每个新的,未知文件被计算为每个意图的神经网络及其相似嵌入。这是最相似的新文档的意图将返回为已预测标签。
老答案:
这不是一个LSTM。他们说,他们的做法是通过Facebook的StarSpace启发。
我没有发现上面非常enlightning纸,但是看着Starspace的GitHub库中,text classification use case据说有相同的设置为他们以前的工作标签空间。
所述TagSpace paper更清晰并解释它们如何使用CNN嵌入在一个空间中的每个文件,使得其向相关联的类矢量距离被最小化。这两个词,文件和类(“标签”)被嵌入在同一
d
维空间和它们的距离通过余弦相似性或内积测定。