作者: peghoty
出处: http://blog.csdn.net/itplus/article/details/21896453
补充：
牛顿下降法
优点：对于正定二次函数，迭代一次，就可以得到极小值点。下降的目的性更强。
缺点：要求二阶可微分；收敛性对初始点的选取依赖性很大；每次迭代都要计算Hessian矩阵，计算量大；计算Dk时，方程组有时奇异或者病态，无法求解Dk或者Dk不是下降方向。
阻尼牛顿法
优点：修改了下降方向，使得始终朝着下降的方向迭代。
缺点：与牛顿法一样。
一维搜索方法简介
一维无约束优化问题minF(α)，求解F(α)的极小值和极大值的数值迭代方法，即为一维搜索方法。常用的方法包括：试探法（黄金分割法，fibonacci方法，平分法，格点法）；插值法（牛顿法，抛物线法）。