牛顿法与梯度下降法的联系：
牛顿法与梯度下降法是非常相似的，只是牛顿法多乘Hessian矩阵的逆矩阵。
梯度下降法是用线性函数来近似代替目标函数，而牛顿法是用二次函数来代替目标函数，故牛顿法的收敛速度是更快的。
尤其是当函数的三阶导为0时，只需要迭代一次，即可得到最终的结果。
牛顿法的局限：
Hessian矩阵不一定可逆
当Hessian矩阵规模很大时，变量很多时，解Hessian矩阵的逆矩阵非常耗时，由此出现改进算法（拟牛顿法）
相关文章：
相似解决方案
热门标签