梯度下降各种优化算法的比较

直接上别人的博客吧，哈哈，太懒了。。。。

https://zhuanlan.zhihu.com/p/32626442

https://zhuanlan.zhihu.com/p/22252270?utm_source=qq&utm_medium=social%20%E5%88%86%E7%B1%BB:%20%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0

http://ruder.io/optimizing-gradient-descent/