Newton方法主要解决无等式约束和等式约束的最优化方法。
1、函数进行二阶泰勒展开近似
Taylor近似函数求导等于0进而得到Newton步径。(搜索方向)
2、Newton减量（停止条件）
当1/2λ2<ε停止搜索
3、搜索策略
回溯直线搜索确定搜索步长t
P.s 回溯直线搜索
下降方法：Δx步径即为搜索方向，t步长或者步进或者叫比例因子
下降方向：gradient*步径<0即为下降方向
直线搜索：x:=x+tΔx
回溯直线搜索 Backtracking Line Search(BLS)
相关文章：