本文是Deep Learning 之 最优化方法系列文章的RMSprop方法。主要参考Deep Learning 一书。
以下节选自个人深度学习笔记。
内容整合来源于网络与个人理解。
RMSprop
口RMSprop是一种改进的Adagrad,通过引入一个衰减系数ρ，让r每回合都衰减一定比例。
口 这种方法很好的解决了Adagrad过早结束的问题，适合处理非平稳目标，对于RNN效果很好。（注意：为二阶矩！）
再看看结合Nesterov动量的RMSProp，直观上理解就是：
RMSProp改变了学习率，Nesterov引入动量改变了梯度，从两方面改进更新方式。
参考：