无约束最优化方法

梯度下降法

牛顿法

牛顿法要求函数具有二阶连续偏导数，利用了函数在极小值点处一阶偏导数为0的必要条件进行优化。

拟牛顿法

基本思想
在牛顿迭代法中，需要计算Hessian矩阵的的逆矩阵H−1，这一计算比较复杂，考虑用一个n阶矩阵Gk=G(x(k))来近似代替H−1k=H−1(x(k))。

BFGS

Broyden类算法

参考资料

《统计学习方法》 附录