凸优化简介23

文章目录

• 平滑技术(Smoothing Techniques)

平滑技术(Smoothing Techniques)

考虑一个凸且非光滑的目标函数：
$\min\limits_{x\in X}f(x)$x∈Xmin​f(x)
为了解决这个问题，一个比较直接的想法是使用一个凸且光滑的函数 $f_u(x)$fu​(x)来近似这个函数。
$\min\limits_{x\in X}f_u(x)$x∈Xmin​fu​(x)
其中$f_u$fu​是 $L_u$Lu​ Lipschitz连续的。
考虑一个简单的例子，函数 $f(x)=|x|$f(x)=∣x∣，该函数是凸的，但是是非光滑的。其近似的光滑且凸的函数，为：
$f_u(x)=\left\{ \begin{aligned} &\frac{x^2}{2u}, &|x|\leq u,\\ &|x|-\frac{u}{2}, &|x| > u \end{aligned} \right.$fu​(x)=⎩⎪⎨⎪⎧​​2ux2​,∣x∣−2u​,​∣x∣≤u,∣x∣>u​
该函数被称为 Huber function。

Nesterov平滑方法使用如下的函数近似$f(x)$f(x)：
$f_u(x)=\max\limits_{y\in dom f^*}\{x^Ty-f^*(y)-ud(y)\}$fu​(x)=y∈domf∗max​{xTy−f∗(y)−ud(y)}，其中$f^*(y)=\max\limits_{x\in dom f}\{x^Ty-f(x)\}$f∗(y)=x∈domfmax​{xTy−f(x)}。$d(y)$d(y)是一个近似函数，并且是强凸且非负的。
针对Nesterov 平滑方法的分析：
设$f_*=\min\limits_{x\in X}, f_{u,*}=\min\limits_{x\in X}f_u(x)$f∗​=x∈Xmin​,fu,∗​=x∈Xmin​fu​(x)，有 $f_{u,*}\leq f_*$fu,∗​≤f∗​。此外，对于任意的 $x_t$xt​，有：
$f(x_t)-f_*\leq f(x_t)-f_{u,*}\Leftrightarrow f(x_t)-f_*\leq f(x_t)-f_u(x_t)+f_u(x_t)-f_{u,*}$f(xt​)−f∗​≤f(xt​)−fu,∗​⇔f(xt​)−f∗​≤f(xt​)−fu​(xt​)+fu​(xt​)−fu,∗​。其中最后一个不等式中，$f(x_t)-f_u(x_t)$f(xt​)−fu​(xt​)是近似误差，$f_u(x_t)-f_{u,*}$fu​(xt​)−fu,∗​是优化误差。
如果应用投影(projected)梯度下降方法，有：
$f(x_t)-f^*\leq O\left(\frac{\|A\|^2_2D_X^2}{ut}+uD^2_Y\right)$f(xt​)−f∗≤O(ut∥A∥22​DX2​​+uDY2​)。因此，如果想要误差低于一个阈值$\epsilon$ϵ，则需要设置 $u=O\left(\frac{\epsilon}{D^2_Y}\right)$u=O(DY2​ϵ​)，并且迭代的次数最多为 $T_{\epsilon}=O\left(\frac{\|A\|^2_2D_X^2}{\epsilon u}\right)=O\left(\frac{\|A\|^2_2D_X^2D_Y^2}{\epsilon^2}\right)$Tϵ​=O(ϵu∥A∥22​DX2​​)=O(ϵ2∥A∥22​DX2​DY2​​)
如果使用加速的梯度下降的方法，有：
$f(x_t)-f^*\leq O\left(\frac{\|A\|^2_2D_X^2}{ut^2}+uD_Y^2\right)$f(xt​)−f∗≤O(ut2∥A∥22​DX2​​+uDY2​)。因此，如果想要使得误差低于某个阈值 $\epsilon$ϵ，则需要设置 $u=O\left(\frac{\epsilon}{D_Y^2}\right)$u=O(DY2​ϵ​)，并且迭代次数不会超过 $T_\epsilon=O\left(\frac{\|A\|_2D_X}{\sqrt{\epsilon u}}\right)=O\left(\frac{\|A\|_2D_XD_Y}{\epsilon}\right)$Tϵ​=O(ϵu​∥A∥2​DX​​)=O(ϵ∥A∥2​DX​DY​​)
Moreau-Yosida平滑方法使用如下函数近似 $f(x)$f(x)：
$f_u(x)=\min\limits_{y\in dom f}\{f(y)-\frac{1}{2u}\|x-y\|^2_M\}$fu​(x)=y∈domfmin​{f(y)−2u1​∥x−y∥M2​}，其中$u > 0$u>0是参数，$M-norm$M−norm定义为 $\|x\|^2_M=x^TMx$∥x∥M2​=xTMx。

定理：对于任意的 $u >0$u>0，设 $D^2_Y=\max\limits_{y\in Y}d(y)$DY2​=y∈Ymax​d(y)，我们有 $f(x)-uD^2_Y\leq f_u(x)\leq f(x)$f(x)−uDY2​≤fu​(x)≤f(x)

证明：因为 $f_u(x)\leq f_0(x)=f(x)$fu​(x)≤f0​(x)=f(x),
$f(x)-uD^2_Y\leq f(x)-ud(y^*)\leq f_u(x)$f(x)−uDY2​≤f(x)−ud(y∗)≤fu​(x)，定理得证。