【Numberical Optimization】3 Line Search Methods (zen学习笔记)

---

1.Step Length

---

1.1 Wolfe conditions:

• Armijo condition（保证在方向上的下降区间内 ）:
• curvature condition (保证步长足够大):

 strong Wolfe conditions:

• 在 Wolfe conditions 修正了曲率条件： 

1.2 The Goldstein conditions 

 

1.3 BLS 

 

---

2. Convergence of Line search methods

---

 Zoutendijk condition:    

                                                       

If the angle  is bounded away from  ,then

                                                                                

 

---

3.Rate of Convergence

---

3.1 Q-convergence：

                                                                               

 

•  : linear convergence
•  : super linear convergence
•  : Qudractic convergence
•  :  阶收敛

 3.2 几个常见方法的收敛率

 

---

4.Step-Length Selection Algotithms

---