《最优化导论》-11拟牛顿法

1.基本思想

1.1基本缺陷

需要计算黑塞矩阵，需要求矩阵的逆运算

1.2拟牛顿法思想

构造黑塞矩阵的逆的近似：

拟牛顿法中，如果找到合适的近似构造矩阵Hk，在迭代中就不需要任何黑塞矩阵，及线性方程逆运算的计算工作了。

1.3构造黑塞矩阵逆矩阵的近似

其中，在二次型函数中，ak都可以用公式直接求最佳步长。

1）秩1算法

例：

2）秩2算法/DFP算法

3）BFGS算法