为什么学习率有时被称为 alpha？

【问题标题】：Why is the learning rate sometimes called alpha?为什么学习率有时被称为 alpha？
【发布时间】：2020-11-06 11:16:01
【问题描述】：

在查看多个代码时，我遇到了一些不同的人将学习率称为“alpha”。它的根源在哪里？常见吗？

【问题讨论】：

【解决方案1】：

梯度下降算法中参数/权重的更新规则是

即我们取梯度的一个小值（倍数）并调整参数的当前值。我们采用的梯度量由 alpha 决定。 alpha 越高，考虑当前梯度的较大部分，alpha 越小，考虑的梯度越小。

这个 alpha 称为学习率，因为 alpha 越高，我们移动的速度越快，而 alpha 越低，移动的速度越慢。

【讨论】：

【解决方案2】：

我不确定确切的历史起源，但总的来说，在数学和计算机科学中使用希腊字母作为速记是很常见的。 Alpha 只是符号 α - 希腊字母表的第一个字母。

【讨论】：