我试图设计一个rnn模型来进行情感分析。因此，RNN可以预测给定文本的情绪（消极，中立，积极，混合）。该模型使用RNN遍历给定的单词序列，并根据最终的隐藏状态预测情感。对于情感分类任务而言，该体系结构的缺点是什么？我将如何使用注意力机制来改进该体系结构？
例如：”这是一个非常下雪的日子。有很多交通事故。至少看起来有孩子。快乐。”昨天真是可怕的一天。我的闹钟睡过头了，更糟糕的是，我喜欢写作业。至少我的狗看起来很高兴...“
This article与RNN中注意机制的使用有关，因此可能对您有所帮助。但我想知道为什么您不使用BERT-当前有关自然语言理解的SOTA来完成此任务？