核方法

拉格朗日对偶（Lagrange duality）

对于凸优化问题来说，无约束的优化一般可以使用一阶导数为零求解。而对于有约束条件的凸优化来说，拉格朗日对偶理论是对凸的最优解的研究。

假设f(x),ci(x),hj(x)$f(x),c_i(x),h_j(x)$是定义在Rn$R^n$上的连续可微函数()，考虑约束最优化问题：

minx∈Rns.t.f(x)ci(x)≤0,i=1,2,…,khj(x)=0,j=1,2,…,k(1)(2)(3)$$\begin{array}{}\text{(1)}& \underset{x\in R^n}{min}& f(x)\text{(2)}& s.t.& c_i(x)\le 0,i=1,2,\dots ,k\text{(3)}& & h_j(x)=0,j=1,2,\dots ,k\end{array}$$

拉格朗日乘子

引入一个人工构造的拉格朗日函数，广义拉格朗日函数（generalized Lagrange function）:

L(x,α,β)=f(x)+∑i=0kαici(x)+∑j=1lβjhj(x)$$\mathcal{L}(x,\alpha ,\beta )=f(x)+\sum _{i=0}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

x=(x(1),x(2),…,x(n))∈Rn,αi,βj$x=(x^{(1)},x^{(2)},\dots ,x^{(n)})\in R^n,{\alpha }_i,{\beta }_j$是拉格朗日乘子，特别要求αi≥0${\alpha }_i\ge 0$.

总结：通过拉格朗日的办法重新定义一个无约束问题这个无约束问题等价于原来的约束优化问题，从而将约束问题无约束化。

原问题与对偶问题

• 原问题（The primal problem）
  

  minx[maxα,β:αi≥0L(x,α,β)]callthisθP(x)=minxθP(x)$$\underset{x}{min}\underset{callthis{\theta }_P(x)}{\underbrace{\left[\underset{\alpha ,\beta :{\alpha }_i\ge 0}{max}\mathcal{L}(x,\alpha ,\beta )\right]}}=\underset{x}{min}{\theta }_P(x)$$
  
  在上述方程中，函数θP(x)${\theta }_P(x)$称为原目标，右端无约束极小化问题就原问题。假设原问题的最优值为：p∗=minxθP(x)$p^{\ast }=\underset{x}{min}{\theta }_P(x)$

• 对偶问题（The dual problem）
  把上面式子最大化和最小化切换一下，就可以得到：
  

  maxα,β:αi≥0[minxL(x,α,β)]call this θD(α,β)=maxα,β:αi≥0θD(α,β)$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{max}\underset{callthis{\theta }_D(\alpha ,\beta )}{\underbrace{\left[\underset{x}{min}\mathcal{L}(x,\alpha ,\beta )\right]}}=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{max}{\theta }_D(\alpha ,\beta )$$
  
  在上述方程中，函数θD(x)${\theta }_D(x)$称为对偶目标，右边就是有约束极大化问题即对偶问题。假设对偶问题的最优值为：d∗=maxα,β:αi≥0θD(α,β)$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{max}{\theta }_D(\alpha ,\beta )$

原始问题与对偶问题的关系

若原始问题与对偶问题都有最优值，则：

d∗=maxα,β:αi≥0minxL(x,α,β)≤minxmaxα,β:αi≥0L(x,α,β)=p∗(4)(5)$$\begin{array}{}\text{(4)}& d^{\ast }& =\underset{\alpha ,\beta :{\alpha }_i\ge 0}{max}\underset{x}{min}\mathcal{L}(x,\alpha ,\beta )\text{(5)}& & \le \underset{x}{min}\underset{\alpha ,\beta :{\alpha }_i\ge 0}{max}\mathcal{L}(x,\alpha ,\beta )=p^{\ast }\end{array}$$

从上面能得出原始问题的最优值不小于对偶问题的最优值。但是我们要通过对偶问题来求解原始问题，就必须使得原始问题的最优值与对偶问题的最优值相等。上面简单来说就是：

设x∗α∗,β∗$x^{\ast }{\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的可行解，如果d∗=p∗$d^{\ast }=p^{\ast }$，那么x∗$x^{\ast }$和α∗,β∗${\alpha }^{\ast },{\beta }^{\ast }$都是原始问题和对偶问题的最优解。

总结：显然原问题与对偶问题是不等价的，我们需要让他满足一些条件来达到等价。而满足d∗=p∗$d^{\ast }=p^{\ast }$，即需要KKT条件。

KKT条件

对于原始问题和对偶问题，假设函数f(x)$f(x)$和ci(x)$c_i(x)$是凸函数，hi(x)$h_i(x)$是仿射函数（即由一阶多项式构成的函数，f(x)=Ax+b$f(x)=Ax+b$, A$A$ 是矩阵，x$x$,b$b$ 是向量；并且假设不等式约束ci(x)$c_i(x)$是严格可行的，即存在x$x$，对所有i$i$有ci(x)<0$c_i(x)<0$，则x∗$x^{\ast }$和α∗,β∗${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的最优解的充分必要条件是x∗$x^{\ast }$和α∗,β∗${\alpha }^{\ast },{\beta }^{\ast }$满足下面的 Karush-Kuhn-Tucker(KKT) 条件：

1.(Lagrangian stationarity) ∇xL(x∗,α∗,β∗)=02.(Complementary slackness) α∗ici(x)=0,i=1,2,…,k and hj(x∗)=0,j=1,2,…,l3.(Primal feasibility) ci(x)≤0,i=1,2,…,k4.(Dual feasibility)  α∗i≥0,i=1,2,…,k(6)(7)(8)(9)$$\begin{array}{}\text{(6)}& & \mathit{\text{1.(Lagrangian stationarity)}}{\mathrm{\nabla }}_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0\text{(7)}& & \mathit{\text{2.(Complementary slackness)}}{\alpha }_i^{\ast }{c}_i(x)=0,i=1,2,\dots ,kand{h}_j(x^{\ast })=0,j=1,2,\dots ,l\text{(8)}& & \mathit{\text{3.(Primal feasibility)}}{c}_i(x)\le 0,i=1,2,\dots ,k\text{(9)}& & \mathit{\text{4.(Dual feasibility) }}{\alpha }_i^{\ast }\ge 0,i=1,2,\dots ,k\end{array}$$

关于KKT 条件的理解：第一个条件是由解析函数的知识，对于各个变量的偏导数为0。特别注意当α∗i>0${\alpha }_i^{\ast }>0$时，由KKT松弛互补条件可知：ci(x∗)=0$c_i(x^{\ast })=0$。（推导SVM中使用）

总结：拉格朗日乘子法就是把原始的约束问题通过拉格朗日函数转化为无约束问题，如果原始问题求解棘手，在满足KKT的条件下用求解对偶问题来代替求解原始问题，使得问题求解更加容易。

从等式优化——>不等式优化——>KKT条件理解拉格朗日乘子法，参考链接如下：
约束优化方法之拉格朗日乘子法与KKT条件

SVM(Support Vector Machine)

支持向量机即 Support Vector Machine，简称 SVM 。其目的就是寻找到一个超平面使样本分成两类，并且间隔（如何推导出间隔点我）最大。

线性可分SVM的推导

我们求得的w就代表着我们需要寻找的超平面的系数。用数学语言表达就是一个凸二次规划问题（convex quadratic programming）：

max1∥w∥,s.t.,yi(wTxi+b)≥1,i=1,…,n(10)(11)$$\begin{array}{}\text{(10)}& & max\frac{1}{\Vert w\Vert },\text{(11)}& & s.t.,y_i(w^T{x}_i+b)\ge 1,i=1,\dots ,n\end{array}$$

通过求解这个问题，我们就可以找到一个间隔最大的分类器 ，如下图所示，中间的红色线条是最优超平面 ：

这个问题等价于（为了方便求解，加上平方，还有一个系数，显然这两个问题是等价的，因为我们关心的并不是最优情况下目标函数的具体数值）：

min12∥w∥2s.t.,yi(wTxi+b)≥1,i=1,…,n(12)(13)$$\begin{array}{}\text{(12)}& & min\frac{1}{2}\Vert w{\Vert }^2\text{(13)}& & s.t.,y_i(w^T{x}_i+b)\ge 1,i=1,\dots ,n\end{array}$$

提炼出线性可分情况下 SVM 的学习算法:
输入：线性可分数据集 {(xi,yi)}Ni=1${\left\{(x_i,y_i)\right\}}_{i=1}^N$
1. 构造约束最优化问题：

minw,b12||w||2s.t.  yi(w⋅xi+b)≥1,  i=1,2,...,N$$\begin{array}{rl}& \underset{w,b}{min}\frac{1}{2}||w|{|}^2\\ & s.t.y_i\left(w\cdot x_i+b\right)\ge 1,i=1,2,...,N\end{array}$$

2. 求解得到w∗,b∗$w^{\ast },b^{\ast }$，分类超平面即为w∗⋅x+b∗=0$w^{\ast }\cdot x+b^{\ast }=0$
3. 对于新的观测数据x$x$，根据f(x)=sign(w∗⋅x+b∗)f(x)=sign(w∗⋅x+b∗)$f(x)=sign(w^{\ast }\cdot x+b^{\ast })f(x)=sign(w\ast \cdot x+b^{\ast })$判断其类别y$y$即可.

现在回到之前的优化目标，也即原始问题

min12∥w∥2s.t.,yi(wTxi+b)≥1,i=1,…,n(14)(15)$$\begin{array}{}\text{(14)}& & min\frac{1}{2}\Vert w{\Vert }^2\text{(15)}& & s.t.,y_i(w^T{x}_i+b)\ge 1,i=1,\dots ,n\end{array}$$

这里就可以使用拉格朗日乘子法了：

L(w,b,α)=12∥w∥2−∑i=1nαi(yi(wTxi+b)−1)$$\mathcal{L}(w,b,\alpha )=\frac{1}{2}\Vert w{\Vert }^2-\sum _{i=1}^n{\alpha }_i\left(y_i(w^T{x}_i+b)-1\right)$$

然后每对满足原始问题与对偶问题的解都满足 KKT 条件，即:

∇wL(w∗,b∗,a∗)=w∗−∑i=1Na∗iyixi=0∇bL(w∗,b∗,a∗)=−∑i=1Na∗iyi=0a∗i(yi(w∗⋅x+b∗)−1)=0yi(w∗⋅x+b∗)−1≥0ai≥0, i=1,2,...,N$$\begin{array}{rl}& {\mathrm{\nabla }}_{w}L(w^{\ast },b^{\ast },a^{\ast })=w^{\ast }-\sum _{i=1}^N{a}_i^{\ast }{y}_i{x}_i=0\\ & {\mathrm{\nabla }}_{b}L(w^{\ast },b^{\ast },a^{\ast })=-\sum _{i=1}^N{a}_i^{\ast }{y}_i=0\\ & a_i^{\ast }(y_i(w^{\ast }\cdot x+b^{\ast })-1)=0\\ & y_i(w^{\ast }\cdot x+b^{\ast })-1\ge 0\\ & a_i\ge 0,i=1,2,...,N\end{array}$$

这里至少存在一个 a∗j>0$a_j^{\ast }>0$，使得yj(w⋅xj+b)−1=0$y_j(w\cdot x_j+b)-1=0$，这便是支持向量，然后根据 KKT 条件可得：

∂L(w,b,a)∂w∂L(w,b,a)∂b=0⇒w−∑i=1Naiyixi=0=0⇒−∑i=1Naiyi=0w∗b∗=∑i=1Na∗iyixi=yj−∑i=1Na∗iyi(xi⋅xj)$$\begin{array}{rl}\frac{\mathrm{\partial }L(w,b,a)}{\mathrm{\partial }w}& =0\Rightarrow w-\sum _{i=1}^N{a}_i{y}_i{x}_i=0\\ \frac{\mathrm{\partial }L(w,b,a)}{\mathrm{\partial }b}& =0\Rightarrow -\sum _{i=1}^N{a}_i{y}_i=0\end{array}\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^N{a}_i^{\ast }{y}_i{x}_i\\ b^{\ast }& =y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i(x_i\cdot x_j)\end{array}$$

将以上结果带入L(w,b,a)$L(w,b,a)$ 会有：

现在的待优化函数 变为：

maxai≥0 −12∑i=1N∑j=1Naiajyiyj(xi⋅xj)+∑i=1Nai s.t.   ∑i=1Naiyi=0$$\begin{array}{rl}& \underset{a_i\ge 0}{max}-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{a}_i\\ & s.t.\sum _{i=1}^N{a}_i{y}_i=0\end{array}$$

只要求解对偶问题得到a∗$a^{\ast }$，然后根据 KKT 条件得到w∗,b∗$w^{\ast },b^{\ast }$就可以完美的解得原始问题的最优解了。

+++
线性可分支持向量机学习算法
输入：线性可分数据集 (xi,yi)Ni=1${(x_i,y_i)}_{i=1}^N$
1. 构造约束最优化问题：

maxai≥0 −12∑i=1N∑j=1Naiajyiyj(xi⋅xj)+∑i=1Nai s.t.   ∑i=1Naiyi=0$$\begin{array}{rl}& \underset{a_i\ge 0}{max}-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{a}_i\\ & s.t.\sum _{i=1}^N{a}_i{y}_i=0\end{array}$$

2. 求解得到a∗=(a∗1,a∗2,…,a∗N)T$a^{\ast }=(a_1^{\ast },a_2^{\ast },\dots ,a_N^{\ast }{)}^T$，求解一般采用SMO算法；　　
3. 根据之前的KKT 条件，a∗$a^{\ast }$ 求得 w∗,b∗$w^{\ast },b^{\ast }$ ，首先选择a∗j>0$a_j^{\ast }>0$ 的支持向量 (xj,yj)$(xj,yj)$；

w∗b∗=∑i=1Na∗iyixi=yj−∑i=1Na∗iyi(xi⋅xj)$$\begin{array}{rl}{w}^{\ast }& =\sum _{i=1}^N{a}_i^{\ast }{y}_i{x}_i\\ b^{\ast }& =y_j-\sum _{i=1}^N{a}_i^{\ast }{y}_i(x_i\cdot x_j)\end{array}$$

4. 求得超平面 w∗⋅x+b∗=0$w^{\ast }\cdot x+b^{\ast }=0$, 对于新的观测数据x$x$根据 f(x)=sign(w∗⋅x+b∗)$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$判断其类别y$y$.

软间隔

给定数据集 (xi,yi)Ni=1${(x_i,y_i)}_{i=1}^N$，当样本数据大部分为线性可分的，存在少量异常值使得数据线性不可分，或者导致分离超平面被挤压，可以通过一些方法仍然按照线性可分的方式处理，异常值的情况如下图所示：
以上情况意味着某些样本点的函数间隔并不满足大于 1 的要求。为了解决这个问题，为每个样本引入一个松弛变量 ξi≥0${\xi }_i\ge 0$ , 使得函数间隔可以小于 1，优化目标改成如下：

minw,b,ξ  12||w||2+C∑i=1Nξis.t.    −yi(w⋅xi+b)−ξi+1≤0,  i=1,2,...,N          −ξi≤0,  i=1,2,...,N$$\begin{array}{rl}& \underset{w,b,\xi }{min}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ & s.t.-y_i(w\cdot x_i+b)-{\xi }_i+1\le 0,i=1,2,...,N\\ & -{\xi }_i\le 0,i=1,2,...,N\end{array}$$

这里C>0$C>0$叫做惩罚参数，与上面优化方法相似，得到的解是

maxa  −12∑i=1N∑j=1Naiajyiyj(xi⋅xj)+∑i=1Nais.t.     0≤ai≤C, i=1,2,…,N         ∑i=1Naiyi=0, i=1,2,…,N$$\begin{array}{rl}& \underset{a}{max}-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{a}_i\\ & s.t.0\le a_i\le C,i=1,2,\dots ,N\\ & \sum _{i=1}^N{a}_i{y}_i=0,i=1,2,\dots ,N\end{array}$$

带有异常值的线性可分 SVM 的算法：
输入：线性可分数据集(xi,yi)Ni=1${(x_i,y_i)}_{i=1}^N$，数据集中伴有异常值
1. 构造约束最优化问题：

minw,b,ξ  12||w||2+C∑i=1Nξis.t.    −yi(w⋅xi+b)−ξi+1≤0,  i=1,2,...,N          −ξi≤0,  i=1,2,...,N$$\begin{array}{rl}& \underset{w,b,\xi }{min}\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i\\ & s.t.-y_i(w\cdot x_i+b)-{\xi }_i+1\le 0,i=1,2,...,N\\ & -{\xi }_i\le 0,i=1,2,...,N\end{array}$$

2. 求解得到a∗=(a∗1,a∗2,…,a∗N)T$a^{\ast }=(a_1^{\ast },a_2^{\ast },\dots ,a_N^{\ast }{)}^T$，求解一般采用SMO算法
3. 根据之前的KKT 条件，a∗$a^{\ast }$ 求得 w∗,b∗$w^{\ast },b^{\ast }$ ，首先选择0<a∗j<C$0<a_j^{\ast }<C$的分量

w∗=∑i=1Na∗iyixib∗=yj−∑i=1Nyia∗i(xi⋅xj)$$\begin{array}{rl}& w^{\ast }=\sum _{i=1}^N{a}_i^{\ast }{y}_i{x}_i\\ & b^{\ast }=y_j-\sum _{i=1}^N{y}_i{a}_i^{\ast }(x_i\cdot x_j)\end{array}$$

4. 求得超平面 w∗⋅x+b∗=0$w^{\ast }\cdot x+b^{\ast }=0$, 对于新的观测数据x$x$根据 f(x)=sign(w∗⋅x+b∗)$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$判断其类别y$y$.

核方法(Kernel Method)

核方法是一种很巧妙的方法，既可以将特征映射到较高的维度，又可以地利用了 SVM 的内积运算避免了维度计算量的爆炸。最后的最优化问题与硬间隔优化问题相似，只要将两个样本的内积改为两个样本的核函数即可 (kernel substitution)

mina  12∑i=1N∑j=1Naiajyiyj(xi⋅xj)−∑i=1Nais.t.     0≤ai≤C, i=1,2,…,N         ∑i=1Naiyi=0, i=1,2,…,N$$\begin{array}{rl}& \underset{a}{min}\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{a}_i{a}_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{a}_i\\ & s.t.0\le a_i\le C,i=1,2,\dots ,N\\ & \sum _{i=1}^N{a}_i{y}_i=0,i=1,2,\dots ,N\end{array}$$

核函数一个正式定义：
设χ$\chi$为输入空间，ω$\omega$ 为特征空间，如果存在一个χ$\chi$到ω$\omega$的映射ϕ(x):χ→ω$\varphi (x):\chi \to \omega$ ，对所有的 x,z∈χ$x,z\in \chi$，函数K(x,z)$K(x,z)$满足 K(x,z)=ϕ(x)⋅ϕ(z)$K(x,z)=\varphi (x)\cdot \varphi (z)$ ,则称ϕ(x)$\varphi (x)$为输入空间到特征空间的映射函数，K(x,z)$K(x,z)$为核函数。

给定核函数K(x,z)$K(x,z)$，即可用求解线性 SVM 的方法来求解非线性问题，核技巧的好处在于不需要显式的定义特征空间与映射函数，只需要选择一个合适的核函数即可。

具体核函数的用法参考核函数