深度学习-迭代优化器的原理

目录

1、SGD 以及学习率的选择方法、带动量的 SGD

      1）随机梯度下降

      2）带动量的SGD

2、自适应学习率算法：AdaGrad、RMSProp、Adam

     1）AdaGrad

     2）RMSProp

     3）Adam