我们如何定义神经网络中的不良学习率？

Question

我正在尝试如下定义神经网络中不良学习率的正确定义：

神经网络中的不良学习率是指您分配的学习率太低或太高，学习率太低，网络会花费太多时间来训练，但学习率太高，网络会变化太快，这可能会导致输出。

任何建议将不胜感激。

Answer 1

我相信有效的学习率 (alpha) 取决于数据。你提到的关于低效学习率的观点是绝对正确的。因此，选择 alpha 没有硬性规定。让我列举一下我在决定 alpha 时采取的步骤：

1. 您显然需要一个较大的 Alpha，以便您的模型快速学习
2. 另请注意，大 alpha 会导致超出最小值，因此您的假设不会收敛
3. 要解决这个问题，您可以使用 学习率衰减。当您接近最小值时，这会降低您的学习率并减慢学习速度，以免您的模型过冲。

有几种方法可以做到这一点：

• 阶跃衰减
• 指数衰减
• 线性衰减

您可以选择其中任何一个，然后训练您的模型。话虽如此，让我指出，在您获得最佳结果之前，您仍然需要进行一些试验和错误。