TensorFlow Adam Optimizer 状态未更新（ get_config ）

Question

我使用optimizer.get_config() 来获取我的亚当优化器的最终状态（如https://stackoverflow.com/a/60077159/607528）但是.get_config() 正在返回初始状态。我认为这意味着以下之一

1. .get_config() 应该返回初始状态
2. 我的优化器没有更新，因为我设置错误
3. 我的优化器未更新 tf 的 adam 已损坏（极不可能）
4. 我的优化器正在更新，但在我调用 .get_config() 之前正在某个地方重置
5. 还有别的吗？

当然，我最初在一个包含训练和验证集等的适当项目中注意到了这个问题，但这里有一个非常简单的 sn-p，它似乎重现了这个问题：

import tensorflow as tf
import numpy as np

x=np.random.rand(100)
y=(x*3).round()

model = tf.keras.models.Sequential([
  tf.keras.layers.Dense(128, activation='relu'),
  tf.keras.layers.Dense(10, activation='softmax')
])
model.compile(optimizer='adam',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])
model.fit(x, y, epochs=500)
model.evaluate(x, y)

model.optimizer.get_config()

Answer 1

如果您想恢复训练 - 您应该保存优化器权重，而不是配置：

    weight_values = optimizer.get_weights()
    with open(self.output_path+'optimizer.pkl', 'wb') as f:
        pickle.dump(weight_values, f)

然后加载它们：

    model.fit(dummy_x, dummy_y, epochs=500) # build optimizer by fitting model with dummy input - e.g. random tensors with simpliest shape
    with open(self.path_to_saved_model+'optimizer.pkl', 'rb') as f:
        weight_values = pickle.load(f)
    optimizer.set_weights(weight_values)