Keras 训练卡在 LSTM 中

Question

我正在尝试在 Keras 中运行 LSTM 模型，但在训练部分卡住了。

对于每个 epoch，模型大约需要 3-4 秒才能将步数训练到 49x/500，然后模型就会卡住。大约 7xx 秒后，训练将恢复并完成剩余的几个步骤并完成一个 epoch。

然后它再次循环训练非常快然后冻结。

可能的原因是什么？

我运行的代码是 Francois Chollet 的 Python 深度学习一书中的编码示例 P.213。如果代码/我的硬件有问题，每个 epoch 的训练过程应该一直很慢吗？现在它在开始时训练得非常快，但在每个 epoch 结束时都会卡住。

我已尝试更新 GPU 驱动程序，conda update --all，分配另一个 GPU 来运行模型（我有 2 个 GPU）。

我确信我的 GPU 没问题，因为我运行其他模型没有问题。

Answer 1

这很正常，在每个 epoch 结束时，Keras 都会使用您的验证数据来计算验证损失和指标，这当然需要时间，也许您的验证集比您的训练集大？

它看起来像冻结了，但它确实在验证集上进行计算，不用担心。