为什么要在 TensorFlow 中使用 state_saving_rnn() 函数？

Question

TensorFlow 提供以下函数来创建 RNN：rnn()、dynamic_rnn()、state_saving_rnn() 和 bidirectional_rnn()。我想知道你什么时候想使用state_saving_rnn() 函数？

我猜这是针对大型 RNN 的。当通过时间展开时，您有效地获得了一个潜在的非常深的网络，如果每一层都有很多参数，GPU 可能会耗尽内存。因此该函数将在每个时间步保存状态（可能保存到磁盘或可能保存到 CPU 的内存而不是 GPU 的内存？）。这是大意吗？

您能否提供一些代码 sn-p，或指向使用它的一些代码的指针？特别是，我想了解何时调用状态保护程序（在每个时间步？）。

Answer 1

这里有一些关于其使用的文档和示例： https://www.tensorflow.org/versions/master/api_docs/python/contrib.training.html

特别寻找 tf.contrib.training.SequenceQueueingStateSaver 部分。