多对一 RNN 的截断反向传播

【问题标题】：Truncated Backpropagation for Many-to-One RNN多对一 RNN 的截断反向传播
【发布时间】：2018-04-20 14:02:54
【问题描述】：

我一直在看这篇关于 RNN 的文章：

但是，我的兴趣是多对一 RNN。所以我对如何应用截断反向传播感到困惑。

另外，如果可能的话，我有兴趣在我的训练和测试中使用不同的时间步长。有没有可能做到这一点？

总结问题： 1. 如何为多对一 RNN 使用适当的截断 BP？ 2. 如何使用变长序列进行训练/测试？

【问题讨论】：

【解决方案1】：

这是 Danijar 的一篇文章，它在 tensorflow 中实现了多对一 rnn。 https://danijar.com/introduction-to-recurrent-networks-in-tensorflow/ 关于动态时间步，dynamic_rnn() 允许您指定任意数量的时间步。

# Batch size x time steps x features.
data = tf.placeholder(tf.float32, [None, None, 28])

通过将数据传递到 dynamic_rnn()，这将创建一个 rnn 或 GRU 或 LSTM，并将根据 data 中的第二维自动展开 time_steps。

【讨论】：