如何平滑LSTM输出

Question

我正在尝试使用许多其他时间序列信号来预测一些时间序列信号。为此，我使用 LSTM 网络。输入信号被标准化，输出信号也被标准化。我正在使用 MSE 损失，并使用张量流实现 该网络给出了很好的预测，但噪音很大。我想让它更平滑，就像在 LSTM 输出上使用 LPF 滤波器一样。 对我来说，最佳解决方案是我可以更改一些参数，这些参数将从 LSTM 输出中过滤更多/更少的频率。

我该怎么做？我正在考虑尝试以某种方式限制损失函数？

谢谢

我尝试在 LSTM、批量归一化以及单层和多层 LSTM 网络之后添加全连接层

Answer 1

您是否尝试过训练 GRU？他们倾向于减少过度拟合并进行更多泛化，从而带来平滑的结果。您可能需要考虑的其他事项还有：

• 对学习率、层数和隐藏维度进行详尽的超参数搜索。
• 你的 RNN 是双向的吗？及时预见总是会产生更平滑的信号。
• 添加 2 层瓶颈 MLP 将 RNN 的输出映射到输出维度会有所帮助。确保添加跳过连接。
• 避免 ReLU 并用更好的激活函数（例如 GeLU）代替。

希望这有帮助。