使用大型数据集训练 tensorflow RNN

【问题标题】：Training tensorflow RNN with large datasets使用大型数据集训练 tensorflow RNN
【发布时间】：2016-06-29 14:32:42
【问题描述】：

outputs, states = rnn.rnn(cell, inputs, initial_state=initial_state, sequence_length=seq_length)

我使用这个函数的原因是因为我的数据序列是可变长度的。此函数期望一次加载所有数据。由于我的数据不能一次全部放入内存，我需要逐个加载数据。任何有关如何完成的指示将不胜感激。

谢谢

【问题讨论】：

【解决方案1】：

这里的标准做法是将您的数据分解成块并一次处理一个块。例如，如果您正在处理文本，您可能会将数据分解为句子，然后将 10 到 100 句的小批量句子一次传递给训练过程。

有关如何执行此操作的示例，请查看此 RNN 教程。

教程文本本身并没有详细描述分块，但请看一下 github 中的相关代码，看看它是如何加载其输入数据并对其进行批处理以进行训练的。

希望有帮助！

【讨论】：