【Numberical Optimization】4 Trust-Region Methods (zen学习笔记)

TR方法比LS方法收敛速度快

TR方法中有几个参数需要选择：

1. 近似模型 

2. 可信赖区域  
3. 求解参数  

• 

when ，Taylor-series expansion of f around ，which is 

                                           

where  t is some scalar in the interval (0,1).

By using an approximation  to the Hessian in the second-order term:

                                                           

 Then we seek a solution of subproblem:

                                                         

                                                               

The difference between    and  is  , which is small when p is small.

•  

 Let 

                                                                

 

1.if   is negative , the newe value    is greater than  ,  so the step must be rejected.,because step   is  obtained  by minimizing the model   . 

2.if    is close to 1, so it safe to expand the trust region.

3.if    is postive but significantly smaller than 1,we do not alter the trust region.

4.if    is close to 0, we shrink the trust region.

• 专注于求解子问题： 

We sometimes drop the interation subscript k and restate the problem as follows:

                                                               

                                                                                             

if and only if

                                                          

 (4.8b) is a complementarity condition that states at least one of   and ()  must be  0.

                         

                        

When     ，  lies strictly inside the trust region，we must have  .

When    or  ,  we have   ,  then  we get 

                                                            

 

 Finally we get p.

 

---

4.1  Algotithms based on  the Cauchy point

---