动态RNN：填充词向量

Question

我对填充有点困惑，我的第一个问题是：

• 是否可以用非 0 的值填充较短的序列？那么在 RNN 中你是如何处理这个问题的呢？

• 一般用0来填充，有什么具体原因吗？是否因为不影响计算而使训练变得容易，还是您仍然需要掩盖损失函数？

• 如果您的句子由从 word2vec 模型嵌入的向量组成，是否会将填充作为零向量应用？

提前感谢任何提示！

Answer 1

How to overcome training example's different lengths when working with Word Embeddings (word2vec) 已解决您的问题。

有关交替最小/最大填充方法的详细信息，请参阅Apply word embeddings to entire document, to get a feature vector。

另请参阅：keras.preprocessing.sequence.pad_sequences，它可以将值作为参数填充。