凸优化一（基本概念介绍）

背景知识

优化问题

• 凸优化是一类数学优化问题，介绍凸优化前先简单介绍数学优化问题。
• 优化问题定义（形式）：
  
  minimizef0$$minimize{f}_0$$
  
  
  subject tofi≤bi,i=1,...,m$$subjectto{f}_i\le b_i,i=1,...,m$$
  
  其中 x=(x1,…,xn)$x=(x_1,\dots ,xn)$（向量）是需要优化的变量
  f0:Rn→R$f_0:R^n\to R$ 是目标函数
  fi:Rn→R, i=1,⋯,m$f_i:R^n\to R,i=1,\cdots ,m$是m个约束函数
  最终要求解的值x∗$x^{\ast }$是满足所有约束的条件下的所有向量中，使得目标函数取得最小值的向量

优化问题的具体应用场景

1. 投资组合优化
   
   • 优化变量：投资于不同投资方案的金额
   • 约束：预算/每个投资方案的最大或最小投资额/最小回报率
   • 目标函数：整个投资组合的风险回报率
2. 电子电路中的设备大小
   
   • 优化变量：设备的长和宽
   • 约束：制造工艺的限制/时间要求/最大面积
   • 目标函数：功耗
3. 数据拟合（机器学习中的一些算法，譬如svm等应用）
   
   • 优化变量：模型的参数
   • 约束：参数的限制/优先的条件
   • 目标函数：预测的误差函数（loss function等）

除了这些之外优化问题在其他各个领域还有很多的应用，总之优化问题在实际应用场景中是非常常见的。

如何解决优化问题

1. 一般的优化问题：都比较难解决，解决方法一般都是一种折中方案（逼近），由于非常长的计算时间，或者一直没有找到问题的解。

2. 一些特例（能够高效和可靠的被解决的一类问题）：

   • 最小二乘法问题
   • 线性规划问题
   • 凸优化问题

   下面的特例介绍

最小二乘

1. 问题定义（形式）
   
   minimize||Ax−b||22$$minimize{\left|\left|Ax-b\right|\right|}_2^2$$
2. 最小二乘问题特性：
   
   • 存在可解析解：x∗=(ATA)−1ATb$x^{\ast }=(A^{T}A{)}^{-1}{A}^{T}b$
   • 已有可靠和高效的算法解决此类问题
   • 计算时间复杂度：O(n2k), A∈Rk×n$O(n^{2}k),A\in R^{k\times n}$
   • 已经是一种成熟的工业技术(解决此类问题)
   • 最小二乘问题很容易识别

线性规划

1. 问题定义（形式）
   
   minimizecTx$$minimize{c}^{T}x$$
   
   
   subject toaTix≤bi,i=1,…,m$$subjectto{a}_i^{T}x\le b_i,i=1,\dots ,m$$
2. 特性：
   
   • 没有解析解
   • 已有可靠和高校的算法解决此类问题
   • 当m≥n$m\ge n$时,计算时间复杂度O(nm)$O(n^m)$
   • 已经是一种成熟的工业技术(解决此类问题)
   • 相对最小二乘来说比较难识别出来
   • 有一些技巧是把问题转化成线性规划问题求解

凸优化问题

1.问题定义（形式）

minimizef0(x)$$minimize{f}_0(x)$$

subject tofi(x)≤bi,i=1,…,m$$subjectto{f}_i(x)\le b_i,i=1,\dots ,m$$

目标函数和约束函数都是凸函数，即
fi(αx+βy)≤αfi(x)+βfi(y)$f_i(\alpha x+\beta y)\le \alpha f_i(x)+\beta f_i(y)$,其中
α+β=1,α≥0,β≥0$\alpha +\beta =1,\alpha \ge 0,\beta \ge 0$
2. 特性：

• 没有解析解
• 有可靠和高效的算法解决此类问题
• 计算时间复杂度maxn3,n2m,F$max{n}^3,n^{2}m,F$,其中F是约束函数fi$f_i$的运算时间消耗以及他们各自的一次二次微分的总和
• 不像之前两种问题一样是一种成熟的工业技术，但是算是以及很成熟了（almost）
• 通常很难识别出来

• 有很多技巧把问题转换成凸优化问题形式求解

  最小二乘问题和线性规划问题是优化问题的特例

注：很多非凸问题也可以通过某种形式转化成凸优化问题来求解其近似解（一般在找不到原问题的解或求解原问题所需的时间复杂度太大的情形下使用）。这是解决一类问题的一种技巧，在深度学习的一些模型中经常用到。这是一种逼近的思想。

非线性优化

1. 局部优化方法（非线性规划）
2. 全局优化方法

凸优化中的一些定义

仿射集（Affine set）

定义：

仿射集是包含过两个不同的点的直线的所有点。
即x=θx1+(1−θ)x2(θ∈R)$x=\theta x_1+(1-\theta )x_2(\theta \in R)$
如下图：



• 一个例子：线性方程组的解集{x|Ax=b$x|Ax=b$}
  
  • 推导：设x1,x2$x_1,x_2$是解集中两个不同的点，则有Ax1=b,Ax2=b$A{x}_1=b,A{x}_2=b$,且A(θx1+(1−θ)x2)=θAx1+(1−θ)Ax2=θb+(1−θ)b=b$A(\theta x_1+(1-\theta )x_2)=\theta A{x}_1+(1-\theta )A{x}_2=\theta b+(1-\theta )b=b$,又Ax=b$Ax=b$,所以x=θx1+(1−θ)x2$x=\theta x_1+(1-\theta )x_2$,得证。

注:所有的仿射集都可以用线性方程组的解集表示

凸集

定义

凸集是包含两个不同点之间的直线的所有点。
即x=θx1+(1−θ)x2θ∈$x=\theta x_1+(1-\theta )x_2\theta \in$（0,1）

• 凸集C中，x1,x2∈C,0≤θ≤0⟹θx1+(1−θ)x2∈C$x_1,x_2\in C,0\le \theta \le 0⟹\theta x_1+(1-\theta )x_2\in C$
• 例子如下图：
  
  

凸组合和凸包

凸组合（convex combination）

定义：x1,x2,...,xk$x_1,x_2,...,x_k$的凸组合是满足x=θ1x1+θ2x2+...+θkxk$x={\theta }_1{x}_1+{\theta }_2{x}_2+...+{\theta }_k{x}_k$,其中θ1+θ2+...+θk=1,θi≥0${\theta }_1+{\theta }_2+...+{\theta }_k=1,{\theta }_i\ge 0$的任意点x。

凸包（convex hull）

定义：conv S:集合S中的所有点的凸组合所成的集合。
如下图所示，黑点表示原始集合S,阴影部分表示conv S(凸包集合)



凸锥（Convex cone）

锥组合（conic (nonnegative) combination）

定义：x1,x2$x_1,x_2$的锥组合是满足x=θ1x1+θ2x2$x={\theta }_1{x}_1+{\theta }_2{x}_2$,其中θ2≥0,θ1≥0${\theta }_2\ge 0,{\theta }_1\ge 0$的任意点x。
如下图，阴影部分为锥组合所成的集合



凸锥

定义：convex cone:集合S中的所有点的锥组合所成的集合。

超平面和半空间

超平面（hyperplane）

定义：满足{x|aTx=b$x|a^{T}x=b$} (a≠0)$(a\ne 0)$的集合。
如下图，其中b可以看作是截距或者是位移项，a是法向量。


注：更多关于超平面的介绍请看之后关于SVM介绍一文中的预备知识

半空间（halfspaces）

定义：满足{x|aTx≤b (a≠0)$x|a^{T}x\le b(a\ne 0)$}的集合。
如下图所示，阴影部分为半空间：


注：超平面是仿射集，同时是凸集，半空间是凸集但不是仿射集

• 从图中就可以很直观的看出来，下面以半空间为例子，来进行推导，其他情形推导方式一致。
• 推导：令x1,x2$x_1,x_2$为半空间中的点，则aTx1≤b,aTx2≤b,x=θx1+(1−θ)x2, θ∈[0,1]$a^T{x}_1\le b,a^T{x}_2\le b,x=\theta x_1+(1-\theta )x_2,\theta \in [0,1]$,所以aTx=aTθx1+aT(1−θ)x2≤θb+(1−θ)b=b$a^{T}x=a^T\theta x_1+a^T(1-\theta )x_2\le \theta b+(1-\theta )b=b$,得证。

球和椭圆

球(Euclidean ball)

定义：B(xc,r)=$B(x_c,r)=${x| ||x−xc||2≤r$x|||x-x_c|{|}_2\le r$}={xc+ru| ||u||2≤1$x_c+ru|||u|{|}_2\le 1$},其中xc$x_c$是圆心，r是半径。

椭圆

定义：{x| (x−xc)TP−1(x−xc)≤1$x|(x-x_c{)}^T{P}^{-1}(x-x_c)\le 1$}={xc+Au| ||u||2≤1$x_c+Au|||u|{|}_2\le 1$},其中

P∈Sn++$P\in S_{++}^n$,即P是对称正定矩阵,A是方阵，非奇异矩阵。



范数球和范数锥

范数

定义：满足以下条件的函数||.||

• ||x||≥0; $||x||\ge 0;$当且仅当x=0$x=0$时，||x||=0$||x||=0$
• 对t∈R, $t\in R,$||tx||=|t| ||x||$||tx||=|t|||x||$
• ||x+y||≤||x||+||y||$||x+y||\le ||x||+||y||$（三角不等式）
  符号：||.||是一般范数，||.||symb$||.|{|}_{s}ymb$是特殊范数。

注：

• 范数（包括Lp$L^p$）是将向量映射到非负值的函数，直观上，向量x的范数衡量从原点到点x的距离。
• Lp$L^p$范数定义:||x||p=(∑i|xi|p)1p$||x|{|}_p=(\sum _i|x_i{|}^p{)}^{\frac{1}{p}}$
• L2$L^2$范数称为欧几里得范数，表示原点到向量x的欧几里得距离
• L∞$L^{\mathrm{\infty }}$范数为最大范数，即||x||∞=maxi|xi|$||x|{|}_{\mathrm{\infty }}=ma{x}_i|x_i|$
• Frobenius范数，即||A||F=∑i,jA2i.j−−−−−−−√=tr（ATA）−−−−−−−√$||A|{|}_F=\sqrt{\sum _{i,j}{A}_{i.j}^2}=\sqrt{tr（A^{T}A）}$,用于衡量矩阵大小。
• 两个向量的点积可以用范数来表示:xTy=||x|| ||y||cosθ$x^{T}y=||x||||y||cos\theta$
• 平方L2$L_2$范数也常用来衡量向量的大小，可通过xTx$x^{T}x$来计算

范数球

定义：{x| ||x−xc||≤r$x|||x-x_c||\le r$},其中xc$x_c$是圆心，r是半径。

范数锥

定义：{(x,t)| ||x||≤t$(x,t)|||x||\le t$}



注：欧几里得范数锥又叫第二顺序锥(L2$L^2$锥)，范数球和范数锥都是凸集

多面体(Polyhedra)

定义：Ax≤b,Cx=d$Ax\le b,Cx=d$,
其中A∈Rm×n, C∈Rp×n$A\in R^{m\times n},C\in R^{p\times n}$,不等式≤$\le$是分量式不等式，即每个维度上这个不等式都成立。


注：多面体是有限个超平面和半空间的交集，如上图所示

半正定锥

符号定义：

• Sn$S^n$是n×n$n\times n$的对称矩阵集
• Sn+=$S_{+}^n=${X∈Sn|X≥0$X\in S^n|X\ge 0$}是n×n$n\times n$半正定矩阵集,其中X∈Sn+⟺$X\in S_{+}^n⟺$(对所有的z)zTXz≥0$z^{T}Xz\ge 0$, $S_+^n是凸锥（convex cone）
• Sn++=$S_{++}^n=${X∈Sn|X=0$X\in S^n|X=0$}是n×n$n\times n$正定矩阵
  
  

参考

• 《Convex Optimization》 – Stephen Boyd and Lieven Vandenberghe