非线性优化
条件、目标函数中只要存在关于未知参数的非线性项，则为非线性优化
泰勒展开
将任意复杂的函数近似地表示为一个简单的多项式
一元函数
多元函数
注：多元函数的泰勒展开中 ∇f(X),f(X)为向量，H为矩阵
黑赛矩阵
注：黑塞矩阵为一个n阶实对称方阵
二次函数
无约束优化问题的极值条件
一元函数
多元函数
凸函数
一元凸函数
多元凸函数
凸集的定义
多元凸函数的定义
多元函数是凸函数的必要条件
凸规划：目标函数与约束条件都为凸函数
约束优化问题的极值条件
举两个例子
例1 约束条件对最优解的求取无影响。将该约束条件称为不起作用的约束条件
例3 由于f(X)为非凸函数，存在两个最优解
例4 由于D为非凸集，存在两个最优解
K-T条件
一点处约束条件的梯度方向与目标函数的梯度反方向不同一个约束条件
约束线的切线与等值线的切线的夹角称为可用角
角范围内的任意一个方向称为可用方向一个约束条件
如果X*为极值点，则可用角为0，没有可用方向一个约束条件
X*为极值点，则目标函数负梯度在两个约束的梯度方向之间两个约束条件
对于两个约束则为夹角，多个约束就成了锥角。换句话说，即等值线负梯度可以由约束梯度线性表示
对于凸规划问题，K-T条件可以确定极小值，即充要条件
对于非凸规划，K-T条件只是必要条件
优化设计的基本思想与迭代终止准则
给定初始点，找一个合适的方向，合适的步长，则找到下一个点
如此下去，找到X*
如何选择搜索方向，如何选取步长
由于是数值计算，也不可能迭代到X*，只要求与X*接近即可