小学习率与大学习率

Question

我是机器学习新手。当我正在阅读有关反向传播的信息时，我突然有疑问。
在神经网络的反向传播学习中，我们是否应该从一个小的学习率开始，然后在学习过程中慢慢增加它？或者
我们应该从大的学习率开始，然后在学习过程中慢慢降低它吗？

哪个是正确的？

Answer 1

通常，第二个正确 - 这样想——大学习率意味着你粗略地搜索空间中的最佳区域。然后，通过少量学习调整权重以找到最佳值。

如果您使用恒定的大学习率，您将在最小点附近“跳跃”。如果您使用恒定的小学习率，则需要很长时间才能收敛。这就是为什么学习率衰减是个好主意。

话虽如此，学习率调度还有一些更高级的技巧，它们不是单调降低学习率。