神经网络常见优化算法(Momentum, RMSprop, Adam)的原理及公式理解, 学习率衰减

参考资料: 吴恩达Coursera深度学习课程 deeplearning.ai (2-2) 优化算法–课程笔记

1. 指数加权平均(指数加权移动平均)

指数加权平均是统计一个波动的指标在一段时间内的平均变化趋势, 具体公式为:$v_t = \beta v_{t-1} + (1 - \beta)\theta_t$vt​=βvt−1​+(1−β)θt​其中$\beta$β是对过去的权重, $(1-\beta)$(1−β)是对当前值的权重, 两者之和就是对一个变化指标的移动加权平均.
结果大体相当于平均了近$\frac{1}{(1-\beta)}$(1−β)1​天的值, 例如$\beta = 0.95$β=0.95相当于平均了近20天的值, $\beta = 0.9$β=0.9相当于平均了近10天的值.
解释: 如下图

因为$\beta ^{\frac{1}{(1-\beta)}} = \frac{1}{e} \approx \frac{1}{3}$β(1−β)1​=e1​≈31​
所以权重小于$0.1 * \beta ^{\frac{1}{(1-\beta)}}$0.1∗β(1−β)1​的数据我们可以忽略不计, 得到的就是平均了近$\frac{1}{(1-\beta)}$(1−β)1​天的值.

偏差修正
由于加权平均的前期, 历史数据不足, 所以前期的数值会非常小, 需要进行偏差修正:
$v_t = \beta v_{t-1} + (1 - \beta)\theta_t$vt​=βvt−1​+(1−β)θt​$v_t = \frac{v_t}{1-\beta^t}$vt​=1−βtvt​​经过修正后, 前期的值不再变得很小, 并且后期$(1-\beta^t)$(1−βt)的值趋向于1, 从而使得修正值与原值重合.

2. 动量梯度下降(Momentum)

梯度下降如上图蓝线所示，梯度下降过程中有纵向波动，由于这种波动的存在，我们只能采取较小的学习率，否则波动会更大。

而使用动量梯度下降法（指数加权平均）后，经过平均，相当于抵消了上下波动，使波动趋近于零(如图中红线所示)，这样就可以采用稍微大点的学习率加快梯度下降的速度。

算法实现
$v_{dW} = \beta v_{dW} + (1-\beta)dW$vdW​=βvdW​+(1−β)dW$W := W - \alpha v_{dW}$W:=W−αvdW​$v_{db} = \beta v_{db} + (1-\beta)db$vdb​=βvdb​+(1−β)db$b := b - \alpha v_{db}$b:=b−αvdb​

3. RMSprop(root mean square prop)

另一种加快梯度下降的算法, 调整更新参数时的步伐大小, 在变化剧烈的方向上步伐会比较小, 在变化平缓的方向上步伐较大, 因此学习率可以设置比较大.
$S_{dW} = \beta_2 S_{dW} + (1-\beta_2) dW^2$SdW​=β2​SdW​+(1−β2​)dW2$W := W - \alpha \frac{dW}{\sqrt{S_{dW}} + \epsilon}$W:=W−αSdW​​+ϵdW​$S_{db} = \beta_2 S_{db} + (1-\beta_2) db^2$Sdb​=β2​Sdb​+(1−β2​)db2$b := b - \alpha \frac{db}{\sqrt{S_{db}} + \epsilon}$b:=b−αSdb​​+ϵdb​

• RMSprop的原理是对$dW^2$dW2和$db^2$db2做加权移动平均, 假设纵轴方向为$b$b, 横轴方向为$W$W, 可以发现$db$db变化剧烈, $dW$dW平缓, 因此$dW^2$dW2的加权平均就会较小, $db^2$db2的加权平均较大, 对应的$S_{dW}$SdW​的值就较小, $S_{db}$Sdb​的值较大.
• 为了与 Momentum 的参数$\beta(\beta_1)$β(β1​)相区分，这里使用$\beta_2$β2​
• $\epsilon$ϵ是为了防止除数为0, 一般$\epsilon = 10^{-8}$ϵ=10−8

4. Adam优化算法(Adaptive moment estimation)

Adam 是 Momentum 和 RMSprop 的结合
算法实现:
$initialization: V_{dW} = 0, V_{db} = 0, S_{dW} = 0, S_{db} = 0$initialization:VdW​=0,Vdb​=0,SdW​=0,Sdb​=0$v_{dW} = \beta_1 v_{dW} + (1-\beta_1)dW$vdW​=β1​vdW​+(1−β1​)dW$v_{db} = \beta_1 v_{db} + (1-\beta_1)db$vdb​=β1​vdb​+(1−β1​)db$v_{dW}^{corrected} = \frac{v_{dW}}{1-\beta_1^t}$vdWcorrected​=1−β1t​vdW​​$v_{db}^{corrected} = \frac{v_{db}}{1-\beta_1^t}$vdbcorrected​=1−β1t​vdb​​$S_{dW} = \beta_2 S_{dW} + (1-\beta_2) dW^2$SdW​=β2​SdW​+(1−β2​)dW2$S_{db} = \beta_2 S_{db} + (1-\beta_2) db^2$Sdb​=β2​Sdb​+(1−β2​)db2$S_{dW}^{corrected} = \frac{S_{dW}}{1-\beta_2^t}$SdWcorrected​=1−β2t​SdW​​$S_{db}^{corrected} = \frac{S_{db}}{1-\beta_2^t}$Sdbcorrected​=1−β2t​Sdb​​$W := W - \alpha \frac{V_{dW}^{corrected}}{\sqrt{S_{dW}^{corrected}} + \epsilon}$W:=W−αSdWcorrected​​+ϵVdWcorrected​​$b := b - \alpha \frac{V_{db}^{corrected}}{\sqrt{S_{db}^{corrected}} + \epsilon}$b:=b−αSdbcorrected​​+ϵVdbcorrected​​
超参的选择

• $\alpha$α: 需要调试
• $\beta_1$β1​: 推荐0.9, $dW$dW的加权平均
• $\beta_2$β2​: 推荐0.999, $dW^2$dW2的加权平均
• $\epsilon$ϵ: 推荐$10^{-8}$10−8

5. 学习率衰减

如果设置一个固定的学习率LR, 值较大的话, 很难收敛, 最后会在最低点附近波动; 值较小的话, 起初下降太慢. 因此, 为了下降快, 一开始学习率可以比较大; 为了能收敛, 学习率应该逐渐变小, 这就是学习率衰减
常用实现:
$\alpha = \frac{1}{1+ decay\_rate * epoch\_num}\alpha_0$α=1+decay_rate∗epoch_num1​α0​$\alpha = 0.95^{epoch\_num}\alpha_0$α=0.95epoch_numα0​$\alpha = \frac{k}{epoch\_num}\alpha_0$α=epoch_numk​α0​
或者固定几个epoch之后, 衰减为原来的0.1(指数级衰减)