用一个表格分析对比深度学习中所有的优化器

之前对各个优化器理解的不是特别清晰，最近通过分析，列出一个表格来对比他们之间的异同点。如下：

 

不同优化器的可视化比较（一图胜千言）：

1. 不同优化器的优化速度比较。SGD最慢，Adadelta最快，动量法会走一些弯路。

 

 2. 遇到鞍点时不同优化器的反应。SGD会被困于鞍点，动量法会在鞍点耽误较长时间。Adadelta脱离速度最快，优化也最快。Rmsprop次之。

 

 

注：后面的动画引用自：https://ruder.io/optimizing-gradient-descent/