机器学习中优化模型预算法（一）

一、最优化问题

1.无约束优化

     1.1 必要条件

          一阶必要条件：梯度为0
          二阶必要条件：二阶hessian矩阵半正定

     1.2步长的搜索方法

          设当前位置$x^k$xk，搜索方向为$d^k$dk，搜索步长$a$a，$x^{k+1}=x^k+ad^k$xk+1=xk+adk.
         1.精确一维线性搜索：计算关于a的多项式取最小值的时候的a值：

          2.非精确线性搜索准则精确搜索需要的计算量大，在计算准确度和计算量之间取得一个平
           衡，就是非线性搜索，满足$f(x^k+ad^k)<f(x^k)$f(xk+adk)<f(xk)即可。
          3.其他分割方法，如0.618分割。

2.约束优化

     2.1最速下降法

         函数做一阶展开

     2.2牛顿法

         函数做二阶展开

     2.3共轭梯度法

     2.4拟牛顿法