机器学习优化算法
作者：凯鲁嘎吉 - 博客园 http://www.cnblogs.com/kailugaji/
图来源：http://www.cs.virginia.edu/~hw5x/Course/RL2020-Fall/_site/static_files/ppt/policy-grad.pptx
1. 梯度下降法
2. 随机梯度下降法
3. 小批量梯度下降法
4. 参考文献
[1] 邱锡鹏, 神经网络与深度学习[M]. 2019.
[2] [Machine Learning] 梯度下降法的三种形式BGD、SGD以及MBGD
[3] Ruder, Sebastian . "An overview of gradient descent optimization algorithms." (2016).