为什么要为自适应优化算法设置学习率？

Question

Adam、RMSProp 和 Adagrad 等自适应随机优化算法以在学习权重的过程中自适应地更改参数而闻名。

但是，在使用此类算法时，Keras 提供了设置学习率的选项。如果不是自适应地找到合适的值，你为什么要这样做？

Answer 1

Adam's 的此选项不允许您手动设置学习率本身，只能设置初始值。优化器会相应地调整它的学习率。

我不能 100% 确定其他优化器是否也是如此，但我会这么认为。