【问题标题】:Why is the learning rate sometimes called alpha?为什么学习率有时被称为 alpha?
【发布时间】:2020-11-06 11:16:01
【问题描述】:

在查看多个代码时,我遇到了一些不同的人将学习率称为“alpha”。它的根源在哪里?常见吗?

【问题讨论】:

    标签: machine-learning deep-learning terminology


    【解决方案1】:

    梯度下降算法中参数/权重的更新规则是

    即我们取梯度的一个小值(倍数)并调整参数的当前值。我们采用的梯度量由 alpha 决定。 alpha 越高,考虑当前梯度的较大部分,alpha 越小,考虑的梯度越小。

    这个 alpha 称为学习率,因为 alpha 越高,我们移动的速度越快,而 alpha 越低,移动的速度越慢。

    【讨论】:

      【解决方案2】:

      我不确定确切的历史起源,但总的来说,在数学和计算机科学中使用希腊字母作为速记是很常见的。 Alpha 只是符号 α - 希腊字母表的第一个字母。

      【讨论】:

        猜你喜欢
        • 2018-11-06
        • 2018-11-02
        • 2019-09-06
        • 1970-01-01
        • 2017-09-20
        • 2021-02-23
        • 2020-08-22
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多