word2vec模型如何与LSTM神经网络配合

Question

我想为短信输入构建情感分类任务的深度学习模型。我的想法是使用word2vec模型来创建单词的表示。然后使用LSTM网络模型对正面或负面进行分类。我发现很难理解一些事情：

1. word2vec模型本身就代表了一个神经网络？我知道它可以用于预训练任务，但这个模型输出如何帮助分类任务？

2.我需要选择的功能数量是多少？我知道所选特征的数量代表隐藏层中神经元单元的数量。我如何将其纳入关于积极或消极情绪的网络学习中？

3.我想到的想法是创建一个单独的Word2vec模型，用于通过名词属性，形容词等表示单词......然后将矩阵权重插入到LSTM网络中。

怎么做这样的事情？我怎样才能最终获得概率向量表示消极或积极的消息？

Answer 1

1. Word2vec或字嵌入（通常称为它们）也可以作为一个层作为大型网络的一部分。这就是你在这里做的。
2. 作为实验的起点，this PyTorch tutorial使用256的隐藏大小。
3. 我不确定你的意思。通常，您只训练一次嵌入。

基本上你只是在看到句子的最后一个单词后才采用LSTM的隐藏状态，并用一个以隐藏状态为输入的密集层对句子进行分类。另请参阅this tutorial了解如何使用LSTM进行分类，尽管此处没有嵌入层（前一个链接确实有一个）。