批处理期间的 TensorFlow 重置状态 = 句子级语言模型

Question

构建不跨越句子边界的循环语言模型（例如 LSTM）的最佳方法是什么？或者更笼统地说，如果你给模型呈现一个批次，每行包含多个句子，你如何在看到每个句子后重置状态？您可以为模型指定一个特殊的令牌吗？

谢谢！

Answer 1

如果句子是独立的，让批次中的每一行只包含一个句子会更简洁。然后，您可以在每批之后重置 LSTM 的状态，如this question 的答案中所述。