梯度下降算法推导（笔记）

一直对ML中各种数学推导有些云山雾罩，所以打算整理一下这些常见的推导公式。有幸有高人的博客可以参考，个人感觉比李航书上的推导更详细。

1.梯度下降是ML中应用最广泛的用于求解模型参数的算法（类似算法还有牛顿法、拟牛顿法、共轭方向、共轭梯度法等）。原理主要是对损失函数的每一个函数求导，并利用负梯度对权值w进行更新。