各种优化器的介绍

点击此处返回总目录 //这篇文章讲的这些优化器的原理，有可能不对。 这节课来介绍一下优化器，Optimizer。   在TensorFlow中目前有下面这几种优化器：                                    这几种里面也不是每种都经常使用，用的比较多的有SGD、Adadelta、Adam、RMSPorop、。我们从中抽取几个讲一下。   SGD   Adagrad    RMSPorop Momentum NAG           一、SGD                               梯度下降法。梯度下降法，一般有三种。                二、Adagrad（带有自适应的学习率）             讲的不一定对。还是按照以前的理解吧~~   三、RMSProp（带有自适应的学习率）              讲的也不一定对。还是看以前的吧~   四、Adadelta（不需要学习率）                     五、Momentum                 六、NAG（Nesterov accelerated gradient）              七、Adam                具体用哪个的话，比如发论文或者比赛，可以把所有的优化器跑一遍，看看那个效果好，就用哪个。   下面是我画的一个关系图，不一定对。