Deep learning II - II Optimization algorithms - RMSprop (Root Mean Square prop)均方根传递

RMSprop

---

• 相较于gradient descent with momentum，RMSprop的思想是，对于梯度震动较大的项，在下降时，减小其下降速度；对于震动幅度小的项，在下降时，加速其下降速度。
• 通过使用指数加权平均计算得到Sdw, Sdb$S_{\mathrm{d}w},S_{\mathrm{d}b}$；使用他们来更新参数（如下图所示）
  

Sdw=βSdw+(1−β)dw2$$S_{\mathrm{d}w}=\beta S_{\mathrm{d}w}+(1-\beta )\mathrm{d}{w}^2$$

Sdb=βSdb+(1−β)db2$$S_{\mathrm{d}b}=\beta S_{\mathrm{d}b}+(1-\beta )\mathrm{d}{b}^2$$

w:=w−αdwSdw−−−√+ϵ$$w:=w-\alpha \frac{\mathrm{d}w}{\sqrt{S_{\mathrm{d}w}}+ϵ}$$

b:=b−αdbSdb−−−√+ϵ$$b:=b-\alpha \frac{\mathrm{d}b}{\sqrt{S_{\mathrm{d}b}}+ϵ}$$

• ϵ=10−8$ϵ={10}^{-8}$，是为了保证分母不为零；dw2$\mathrm{d}{w}^2$和db2$\mathrm{d}{b}^2$指的是element-wise