使用Keras对LoutM进行Youtube评论的情感分析

Question

我的目标是通过使用LSTM缓慢缩放来弄脏手。然而，在现阶段的初始阶段，我正在尝试使用Keras实现Youtube LSTM情绪分析器。在搜索可用于帮助我的资源时，我遇到了IMDB情绪分析数据集和LSTM代码。虽然它适用于较长输入，但较短的输入效果不佳。代码在https://github.com/keras-team/keras/blob/master/examples/imdb_lstm.py

保存Keras模型并使用此代码为此数据构建预测模块

 model = load_model('ytsentanalysis.h5')
 print("Enter text")
 text=input()
 list=text_to_word_sequence(text,filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n',lower=True,split=" ")
 print(list)
 word_index = imdb.get_word_index()
 x_test = [[word_index[w] for w in list if w in word_index]]
 prediction=model.predict(x_test)
 print(prediction)

我提供了各种各样的输入，例如“糟糕的视频”，“奇妙的惊人”或“好极了”，“可怕的糟糕”。对于同样糟糕的主题输入，输出范围从接近1开始，我看到一个好的主题输入的0.3％预测。我预计它应该接近1表示正数，接近0表示负数。

为了解决这个问题，我在训练和预测时限制了maxlen = 20，因为Youtube注释要短得多，同样的代码再次运行。这次预测期间的概率都是e ^插入大的负功率

难道我无法适应和重用现有数据集吗？如果没有，因为标记的Youtube评论数据集不是那么广泛，我是否应该使用像Twitter评论数据集这样的东西，而代价是在Keras中失去预先构建的IMDB输入模块的效率？有什么办法可以看到这些模块的代码吗？

提前感谢您回答所有这些问题。

Answer 1

IMDb数据集和YouTube评论之间的差异是完全不同的，因为与评论和推文相比，电影评论相当长且广泛。

在公开可用的数据集上训练模型可能更有帮助（例如推文，可能更符合YT评论）。然后，您可以使用预先训练的模型并在YT注释数据集上对其进行微调。利用一些预先训练的单词嵌入也很有用，例如GloVe和word2vec。

或者，您可以考虑使用NLTK来分析注释。