Seq到Seq模型训练

Question

我有几个问题：

1. 在具有不同输入长度的seq到seq模型中，如果不使用注意蒙版，RNN可能最终会计算填充元素的隐藏状态值？因此，这意味着必须使用注意蒙版，否则我的输出将是错误的？
2. 然后，如何处理不同长度的标签，比方说，我已经批量填充了它。现在我不希望填充元素对我的损失造成影响，那么我该如何忽略呢？

Answer 1

1. 不，不一定。 RNN采用时间序列并每次都计算“隐藏”状态。您可以强制RNN停止并且不计算填充元素的隐藏状态值。

您可以使用Dynamic RNN。在这里阅读：What is a dynamic RNN in TensorFlow?