更深的LSTM需要更多的单位吗？

Question

我正在将LSTM应用于具有20个滞后的时间序列预测。假设我们有两种情况。第一个仅使用五个滞后，第二个（如我的情况）使用20个滞后。在第二种情况下，与前一种情况相比，我们需要更多的单元是否正确？如果是，我们如何支持这个想法？我有2000个样本用于训练模型，因此这是此处增加单位数量的主要限制。

Answer 1

很难给出确切的答案，因为时间步长和隐藏单位数之间的关系并不是一门精确的科学。例如，以下因素会影响所需的单位数量。

• 短期记忆问题与长期记忆问题

  • 如果您的问题可以用较少的内存来解决（即只需要记住几个时间步长即可解决），那么增加更多的神经元并增加步长数将不会带来太多好处。

• 数据量

  • 如果您没有足够的数据可供模型学习（我觉得您会遇到2000个数据点，但我可能是错的），那么增加时间步数将无济于事。

• 您使用的模型类型

  • 取决于您使用的模型类型（例如LSTM / GRU），您可能会得到不同的结果（这并不总是正确的，但是对于某些问题可能会发生）

我确定还有其他因素，但是我想到的只是这些因素。

证明更多的单位可以得到更好的结果，同时有更多的时间步长（如果为真）

这应该相对容易，因为您可以尝试几种不同的选择，

• 5个滞后与10/20/50个隐藏单位
• 20个滞后与10/20/50个隐藏单位

并且如果您有20个滞后问题比5个滞后问题（使用50个单位时）获得更好的性能（例如，较低的MSE），那么您已经理解了。而且，您可以通过显示不同类型的模型（例如LSTM与GRU）的结果来加强自己的主张。