Tensorflow.Keras Adam 优化器实例化

Question

在训练 CNN 时，我发现损失减少得更快 当优化器设置为优化器实例

model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=0.001), 
       ....... 

那么当优化器设置为String（优化器名称）

`model.compile(optimizer='adam', .......)

由于默认learning_rate=0.001，为什么它们的工作方式不同，它们之间有什么区别？

Answer 1

技术上不应该有任何差异。如果你按照源文件here 中的adam 字符串参数，你会看到

all_classes = {
     'adam': adam_v2.Adam,
      ...
}

这个adam_v2.Adam 已经链接到三个实现，分别位于三个不同的地方，即

1. Source Codetensorflow/python/tpu/tpu_embedding_v2_utils.py

- @tf_export("tpu.experimental.embedding.Adam")
class Adam(_Optimizer):

1. Source Codetensorflow/python/keras/optimizer_v1.py

class Adam(Optimizer):

1. Source Codetensorflow/python/keras/optimizer_v2/adam.py

@keras_export('keras.optimizers.Adam')
class Adam(optimizer_v2.OptimizerV2):

现在，查看tf.keras.optimizers.Adam的源代码，点击在GitHub上查看源代码按钮，你会重定向到here——上面的数字3。