右填充与左填充词向量？

Question

在RNN世界中，填充字向量的哪一端以使它们都具有相同的长度有关系吗？

示例

pad_left = [0, 0, 0, 0, 5, 4, 3, 2] 
pad_right = [5, 4, 3, 2, 0, 0, 0, 0]

Answer 1

有些人在论文Effects of Padding on LSTMs and CNNs中对填充前和填充后进行了实验。这是他们的结论。

对于LSTM，填充后的准确性（50.117％）小于填充前的准确性（80.321％）。前填充和后填充对CNN无关紧要，因为与LSTM不同，CNN不会尝试记住先前输出中的内容，而是尝试在给定数据中查找模式。

我从没想到填充位置会产生如此大的影响，所以我建议您亲自进行验证。