本篇是对自己学习《最优化方法》的一些脉络、思路的记载，也有可能会有一点点思考。
-
判断一个函数是否二阶可微？如可微，写出其Hesse矩阵。
一阶：梯度；二阶：Hesse矩阵
向量函数的一阶：Jacobi矩阵 梯度向量构成的矩阵 -
凸集的定义和性质（升缩交运算封闭）
-
锥（射线 正向伸缩）；有限个半空间的交是多面集；极点、极方向（边界方向，不能被表出）
-
凸函数的判别：
· 定义式（被切线托起来，线性逼近的值小于函数真值）
· 最优性条件：凸函数，一阶导为0，则为最小值点。
· 二阶判别条件：在\(x\)处的Hesse矩阵是半正定的（二阶可微函数），若为正定则\(f(x)\)为严格凸函数。 -
凸规划的定义：
-
无约束优化最优性条件
寻找最值的搜索给定步长和方向判断趋势直到梯度为可认为找到了局部最优解（若为凸函数则是全局最优解）
· 局部最优解的一阶必要条件：若是局部最优解，则一阶导为0（反之 导数为0不一定是局部最优解；必要条件的意思是 必须要满足才有可能成立，但满足也不一定成立）
· 局部最优解的二阶必要条件：若是局部最优解，则二阶导为0，Hesse矩阵半正定。
· 二阶充分条件：若一阶导为0，二阶导正定，则是严格局部最优解。若二阶导为半正定，则是局部最优解。
· 无约束规划充要的最优性条件：一阶导为0 -
对最小二乘问题和正则化策略的理解。