在训练的某个阶段记录 AdamW 优化器的状态答案

【问题标题】：Logging state of AdamW optimizer at certain stage in training在训练的某个阶段记录 AdamW 优化器的状态
【发布时间】：2021-05-07 19:40:24
【问题描述】：

我正在使用 AdamW 优化器来训练模型（Tensorflow 2.0）。我需要在训练期间的某些步骤记录其状态，以便能够重新加载优化器的状态并稍后从那里恢复训练。除了初始配置（optimizer.get_config() 的输出）及其权重（optimizer.get_weights() 的输出）之外，我是否需要记录其他任何内容才能完全重建优化器的状态？

【问题讨论】：

不——你没有。我什至不保存get_config()

标签： tensorflow machine-learning keras

【解决方案1】：

如果你用的是kerasModel，可以直接用model.save，以后用tf.keras.models.load_model恢复。这将确保优化器状态完全恢复为保存时的状态。

【讨论】：

不是一个选项 - 不幸的是。这是一个自定义训练循环，其中使用 GradientTape 更新优化器。