最优化问题
•
• 如果除目标函数以外，对参与优化的各变量没有其他约束，则称为无约束最优化问题。反之，称为有约束最优化问题。
最优化问题的分类
• 无约束最优化可以写为
•
• 等式约束最优化可以写为
• 不等式约束最优化可以写为
最优化问题求解
• 无约束优化求解：主要有解析法和直接法。
• 直接法通常用于当目标函数表达式十分复杂或写不出具体表达式时的情况。通过数值计算，经过一系列迭代过程产生点列，在其中搜索最优点 。
• 解析法，即间接法，是根据无约束最优化问题的目标函数的解析表达式给出一种求最优解的方法，主要有梯度下降法、牛顿法、拟牛顿法、共轭方向法和共轭梯度法等
• 约束最优化求解：解决约束最优化问题最常用的方法是引用拉格朗日乘子（等式约束）或者KKT（Kuhn-Kuhn-Tucker）条件（不等式约束）将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题进行求解。
• 在此我们重点讨论在深度学习最常用的无约束优化求解方法，即梯度下降算法。
梯度下降法
•
• 优化的过程是逐渐调整模型或函数参数使其输出的预测值与真实值越来越接近的过程。
• 损失函数通常是用来描绘模型的预测值与真实值的一致程度。
• 优化的目标是寻找损失函数最小（大）值的过程。
• 若只优化一个变量，损失函数是一元的。若优化的变量有两个以上，则损失函数是二元及以上的。
• 一元函数的极值问题：
•
•
• 函数的极值点一定是驻点，反之未必。
• 推广至多维函数的情形，用偏导数描述函数相对于各自变量的变化程度。
• 如何从初始位置到函数极值点？
• 每一步都朝着函数值下降最快的方向移动一段距离。
• 函数下降（上升）最快的方向：函数值变化率最大的方向。
• 导数：函数沿坐标轴正方向的变化率。
• 方向导数：函数沿着任意方向的变化率。（多个）
• 最大方向导数：梯度。梯度方向即函数值变化率最大的方向，也就是我们需要沿着梯度方向寻找函数极值。
• 一段距离：步长，由经验获取的，可以在尝试过程中不断调整。
• 正梯度向量指向上坡，负梯度向量指向下坡。我们在负梯度方向上移动可以最快地减小函数值，这被称为最速下降法（method of steepest descent）或梯度下降（gradient descent）。
• 在梯度下降法中，每一步更新的方式为：
• 迭代在梯度为零或趋近于零的时候收敛。