（十二）支持向量机（Support Vecor Machine）4

支持向量机原理（四）

  在SVM的前三篇里，我们优化的目标函数最终都是一个关于α$\alpha$向量的函数。而怎么极小化这个函数，求出对应的α$\alpha$向量，进而求出分离超平面我们没有讲。本篇就对优化这个关于α$\alpha$向量的函数的SMO算法做一个总结。

1. 回顾SVM优化目标函数

  我们首先回顾下我们的优化目标函数：

minα 12∑i=1,j=1mαiαjyiyjK(xi,xj)−∑i=1mαi$$\underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i,x_j)-\sum _{i=1}^m{\alpha }_i$$

s.t.∑i=1mαiyi=0$$s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0$$

0≤αi≤C$$0\le {\alpha }_i\le C$$

  我们的解要满足的KKT条件的对偶互补条件为：

α∗i(yi(wTxi+b)−1+ξ∗i)=0$${\alpha }_i^{\ast }(y_i(w^T{x}_i+b)-1+{\xi }_i^{\ast })=0$$

  根据这个KKT条件的对偶互补条件，我们有：

α∗i=0⇒yi(w∗∙ϕ(xi)+b) ≥ 1$${\alpha }_i^{\ast }=0\Rightarrow y_i(w^{\ast }\bullet \varphi (x_i)+b)\ge 1$$

0<α∗i <C ⇒yi(w∗∙ϕ(xi)+b) = 1$$0<{\alpha }_i^{\ast }<C\Rightarrow y_i(w^{\ast }\bullet \varphi (x_i)+b)=1$$

α∗i= C⇒yi(w∗∙ϕ(xi)+b) ≤1$${\alpha }_i^{\ast }=C\Rightarrow y_i(w^{\ast }\bullet \varphi (x_i)+b)\le 1$$

  由于w∗=∑j=1mα∗jyjϕ(xj)$w^{\ast }=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_j\varphi (x_j)$,我们令g(x)=w∗∙ϕ(x)+b=∑j=1mα∗jyjK(x,xj)+b∗$g(x)=w^{\ast }\bullet \varphi (x)+b=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast }$，则有：

α∗i=0⇒yig(xi) ≥ 1$${\alpha }_i^{\ast }=0\Rightarrow y_{i}g(x_i)\ge 1$$

0<α∗i <C ⇒yig(xi)  = 1$$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1$$

α∗i= C⇒yig(xi)  ≤1$${\alpha }_i^{\ast }=C\Rightarrow y_{i}g(x_i)\le 1$$

2. SMO算法的基本思想

  上面这个优化式子比较复杂，里面有m个变量组成的向量α$\alpha$需要在目标函数极小化的时候求出。直接优化时很难的。SMO算法则采用了一种启发式的方法。它每次只优化两个变量，将其他的变量都视为常数。由于∑i=1mαiyi=0$\sum _{i=1}^m{\alpha }_i{y}_i=0$.假如将α3,α4,...,αm${\alpha }_3,{\alpha }_4,...,{\alpha }_m$　固定，那么α1,α2${\alpha }_1,{\alpha }_2$之间的关系也确定了。这样SMO算法将一个复杂的优化算法转化为一个比较简单的两变量优化问题。
  为了后面表示方便，我们定义Kij=ϕ(xi)∙ϕ(xj)$K_{ij}=\varphi (x_i)\bullet \varphi (x_j)$
  由于α3,α4,...,αm${\alpha }_3,{\alpha }_4,...,{\alpha }_m$都成了常量，所有的常量我们都从目标函数去除，这样我们上一节的目标优化函数变成下式：

minα1,α112K11α21+12K22α22+y1y2K12α1α2−(α1+α2) +y1α1∑i=3myiαiKi1+y2α2∑i=3myiαiKi2$$\underset{{\alpha }_1,{\alpha }_1}{\underbrace{min}}\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1\sum _{i=3}^m{y}_i{\alpha }_i{K}_{i1}+y_2{\alpha }_2\sum _{i=3}^m{y}_i{\alpha }_i{K}_{i2}$$

s.t.α1y1+ α2y2=−∑i=3myiαi=ς$$s.t.{\alpha }_1{y}_1+{\alpha }_2{y}_2=-\sum _{i=3}^m{y}_i{\alpha }_i=\varsigma$$

0≤αi≤Ci=1,2$$0\le {\alpha }_i\le Ci=1,2$$

3. SMO算法目标函数的优化

  为了求解上面含有这两个变量的目标优化问题，我们首先分析约束条件，所有的α1,α2${\alpha }_1,{\alpha }_2$都要满足约束条件，然后在约束条件下求最小。
  根据上面的约束条件α1y1+α2y2=ς0≤αi≤Ci=1,2${\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma 0\le {\alpha }_i\le Ci=1,2$，又由于y1,y2$y_1,y_2$均只能取值1或者-1, 这样α1,α2${\alpha }_1,{\alpha }_2$在[0,C]和[0,C]形成的盒子里面，并且两者的关系直线的斜率只能为1或者-1，也就是说α1,α2${\alpha }_1,{\alpha }_2$的关系直线平行于[0,C]和[0,C]形成的盒子的对角线，如下图所示：

  由于α1,α2${\alpha }_1,{\alpha }_2$的关系被限制在盒子里的一条线段上，所以两变量的优化问题实际上仅仅是一个变量的优化问题。不妨我们假设最终是α2${\alpha }_2$的优化问题。由于我们采用的是启发式的迭代法，假设我们上一轮迭代得到的解是αold1,αold2${\alpha }_1^{old},{\alpha }_2^{old}$，假设沿着约束方向α2${\alpha }_2$未经剪辑的解是αnew,unc2${\alpha }_2^{new,unc}$.本轮迭代完成后的解为αnew1,αnew2${\alpha }_1^{new},{\alpha }_2^{new}$
  由于αnew2${\alpha }_2^{new}$必须满足上图中的线段约束。假设L和H分别是上图中αnew2${\alpha }_2^{new}$所在的线段的边界。那么很显然我们有：

L≤αnew2≤H$$L\le {\alpha }_2^{new}\le H$$

  而对于L和H，我们也有限制条件如果是上面左图中的情况，则

L=max(0,αold2−αold1)H=min(C,C+αold2−αold1)$$L=max(0,{\alpha }_2^{old}-{\alpha }_1^{old})H=min(C,C+{\alpha }_2^{old}-{\alpha }_1^{old})$$

  如果是上面右图中的情况，我们有：

L=max(0,αold2+αold1−C)H=min(C,αold2+αold1)$$L=max(0,{\alpha }_2^{old}+{\alpha }_1^{old}-C)H=min(C,{\alpha }_2^{old}+{\alpha }_1^{old})$$

  也就是说，假如我们通过求导得到的αnew,unc2${\alpha }_2^{new,unc}$，则最终的αnew2${\alpha }_2^{new}$应该为：

αnew2=⎧⎩⎨⎪⎪Hαnew,unc2Lαnew,unc2 >HL≤αnew,unc2 ≤Hαnew,unc2<L$${\alpha }_2^{new}=\{\begin{array}{ll}H& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}& L\le {\alpha }_2^{new,unc}\le H\\ L& {\alpha }_2^{new,unc}<L\end{array}$$

  那么如何求出αnew,unc2${\alpha }_2^{new,unc}$呢？很简单，我们只需要将目标函数对α2${\alpha }_2$求偏导数即可。首先我们整理下我们的目标函数，为了简化叙述，我们令

Ei=g(xi)−yi=∑j=1mα∗jyjK(xi,xj)+b−yi$$E_i=g(x_i)-y_i=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x_i,x_j)+b-y_i$$

  其中g(x)$g(x)$就是我们在第一节里面的提到的

g(x)=w∗∙ϕ(x)+b=∑j=1mα∗jyjK(x,xj)+b∗$$g(x)=w^{\ast }\bullet \varphi (x)+b=\sum _{j=1}^m{\alpha }_j^{\ast }{y}_{j}K(x,x_j)+b^{\ast }$$

  我们令

vi=∑i=3myjαjK(xi,xj)=g(xi)− ∑i=12yjαjK(xi,xj)−b$$v_i=\sum _{i=3}^m{y}_j{\alpha }_{j}K(x_i,x_j)=g(x_i)-\sum _{i=1}^2{y}_j{\alpha }_{j}K(x_i,x_j)-b$$

  这样我们的优化目标函数进一步简化为：

W(α1,α2)=12K11α21+12K22α22+y1y2K12α1α2−(α1+α2) +y1α1v1+ y2α2v2$$W({\alpha }_1,{\alpha }_2)=\frac{1}{2}{K}_{11}{\alpha }_1^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_1{y}_2{K}_{12}{\alpha }_1{\alpha }_2-({\alpha }_1+{\alpha }_2)+y_1{\alpha }_1{v}_1+y_2{\alpha }_2{v}_2$$

  由于α1y1+α2y2=ς${\alpha }_1{y}_1+{\alpha }_2{y}_2=\varsigma$，并且y2i=1$y_i^2=1$，可以得到α1用α2${\alpha }_1用{\alpha }_2$表达的式子为：

α1=y1(ς −α2y2)$${\alpha }_1=y_1(\varsigma -{\alpha }_2{y}_2)$$

  将上式带入我们的目标优化函数，就可以消除α1${\alpha }_1$,得到仅仅包含α2${\alpha }_2$的式子。

W(α2)=12K11(ς −α2y2)2+12K22α22+y2K12(ς −α2y2)α2−(α1+α2) +(ς −α2y2)v1+ y2α2v2$$W({\alpha }_2)=\frac{1}{2}{K}_{11}(\varsigma -{\alpha }_2{y}_2{)}^2+\frac{1}{2}{K}_{22}{\alpha }_2^2+y_2{K}_{12}(\varsigma -{\alpha }_2{y}_2){\alpha }_2-({\alpha }_1+{\alpha }_2)+(\varsigma -{\alpha }_2{y}_2)v_1+y_2{\alpha }_2{v}_2$$

  忙了半天，我们终于可以开始求αnew,unc2${\alpha }_2^{new,unc}$了，现在我们开始通过求偏导数来得到αnew,unc2${\alpha }_2^{new,unc}$。

∂W∂α2=K11α2+ K22α2−2K12α2− K11ς y2+K12ς y2+y1y2−1−v1y2+y2v2=0$$\frac{\mathrm{\partial }W}{\mathrm{\partial }{\alpha }_2}=K_{11}{\alpha }_2+K_{22}{\alpha }_2-2K_{12}{\alpha }_2-K_{11}\varsigma y_2+K_{12}\varsigma y_2+y_1{y}_2-1-v_1{y}_2+y_2{v}_2=0$$

  整理上式有：

(K11+K22−2K12)α2=y2(y2−y1+ς K11− ς K12+v1−v2)$$(K_{11}+K_{22}-2K_{12}){\alpha }_2=y_2(y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+v_1-v_2)$$

= y2(y2−y1+ς K11 −ς K12+(g(x1)− ∑j=12yjαjK1j−b)−(g(x2)− ∑j=12yjαjK2j−b))$$=y_2(y_2-y_1+\varsigma K_{11}-\varsigma K_{12}+(g(x_1)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{1j}-b)-(g(x_2)-\sum _{j=1}^2{y}_j{\alpha }_j{K}_{2j}-b))$$

  将ς=α1y1+α2y2$\varsigma ={\alpha }_1{y}_1+{\alpha }_2{y}_2$带入上式，我们有：

(K11+K22−2K12)αnew,unc2=y2((K11+K22−2K12)αold2y2+y2−y1+g(x1)−g(x2))$$(K_{11}+K_{22}-2K_{12}){\alpha }_2^{new,unc}=y_2((K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}{y}_2+y_2-y_1+g(x_1)-g(x_2))$$

=(K11+K22−2K12) αold2+y2(E1−E2)$$=(K_{11}+K_{22}-2K_{12}){\alpha }_2^{old}+y2(E_1-E_2)$$

  我们终于得到了αnew,unc2${\alpha }_2^{new,unc}$的表达式：

αnew,unc2=αold2+y2(E1−E2)K11+K22−2K12$${\alpha }_2^{new,unc}={\alpha }_2^{old}+\frac{y2(E_1-E_2)}{K_{11}+K_{22}-2K_{12}}$$

  利用上面讲到的αnew,unc2${\alpha }_2^{new,unc}$和αnew2${\alpha }_2^{new}$的关系式，我们就可以得到我们新的αnew2${\alpha }_2^{new}$了。利用αnew2${\alpha }_2^{new}$和αnew1${\alpha }_1^{new}$的线性关系，我们也可以得到新的αnew1${\alpha }_1^{new}$。

4. SMO算法两个变量的选择

  SMO算法需要选择合适的两个变量做迭代，其余的变量做常量来进行优化，那么怎么选择这两个变量呢？

4.1 第一个变量的选择

  SMO算法称选择第一个变量为外层循环，这个变量需要选择在训练集中违反KKT条件最严重的样本点。对于每个样本点，要满足的KKT条件我们在第一节已经讲到了：

α∗i=0⇒yig(xi)≥1$${\alpha }_i^{\ast }=0\Rightarrow y_{i}g(x_i)\ge 1$$

0<α∗i<C⇒yig(xi)=1$$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1$$

α∗i=C⇒yig(xi)≤1$${\alpha }_i^{\ast }=C\Rightarrow y_{i}g(x_i)\le 1$$

  一般来说，我们首先选择违反0<α∗i<C⇒yig(xi)=1$0<{\alpha }_i^{\ast }<C\Rightarrow y_{i}g(x_i)=1$这个条件的点。如果这些支持向量都满足KKT条件，再选择违反α∗i=0⇒yig(xi)≥1${\alpha }_i^{\ast }=0\Rightarrow y_{i}g(x_i)\ge 1$和 α∗i=C⇒yig(xi)≤1${\alpha }_i^{\ast }=C\Rightarrow y_{i}g(x_i)\le 1$的点。

4.2 第二个变量的选择

  SMO算法称选择第二一个变量为内层循环，假设我们在外层循环已经找到了α1${\alpha }_1$, 第二个变量α2${\alpha }_2$的选择标准是让|E1−E2|$|E1-E2|$有足够大的变化。由于α1${\alpha }_1$定了的时候,E1$E_1$也确定了，所以要想|E1−E2|$|E1-E2|$最大，只需要在E1$E_1$为正时，选择最小的Ei$E_i$作为E2$E_2$， 在E1$E_1$为负时，选择最大的Ei$E_i$作为E2$E_2$，可以将所有的Ei$E_i$保存下来加快迭代。
  如果内存循环找到的点不能让目标函数有足够的下降， 可以采用遍历支持向量点来做α2${\alpha }_2$,直到目标函数有足够的下降， 如果所有的支持向量做α2${\alpha }_2$都不能让目标函数有足够的下降，可以跳出循环，重新选择α1${\alpha }_1$

4.3 计算阈值b和差值Ei$E_i$

  在每次完成两个变量的优化之后，需要重新计算阈值b。当0≤αnew1≤C$0\le {\alpha }_1^{new}\le C$时，我们有

y1−∑i=1mαiyiKi1−b1=0$$y_1-\sum _{i=1}^m{\alpha }_i{y}_i{K}_{i1}-b_1=0$$

  于是新的bnew1$b_1^{new}$为：

bnew1=y1−∑i=3mαiyiKi1−αnew1y1K11−αnew2y2K21$$b_1^{new}=y_1-\sum _{i=3}^m{\alpha }_i{y}_i{K}_{i1}-{\alpha }_1^{new}{y}_1{K}_{11}-{\alpha }_2^{new}{y}_2{K}_{21}$$

  计算出E1$E_1$为：

E1=g(x1)−y1=∑i=3mαiyiKi1+αold1y1K11+αold2y2K21+bold−y1$$E_1=g(x_1)-y_1=\sum _{i=3}^m{\alpha }_i{y}_i{K}_{i1}+{\alpha }_1^{old}{y}_1{K}_{11}+{\alpha }_2^{old}{y}_2{K}_{21}+b^{old}-y_1$$

  可以看到上两式都有y1−∑i=3mαiyiKi1$y_1-\sum _{i=3}^m{\alpha }_i{y}_i{K}_{i1}$，因此可以将bnew1$b_1^{new}$用E1$E_1$表示为：

bnew1=−E1−y1K11(αnew1−αold1)−y2K21(αnew2−αold2)+bold$$b_1^{new}=-E_1-y_1{K}_{11}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{21}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$

  同样的，如果0<αnew2<C$0<{\alpha }_2^{new}<C$, 那么有：

bnew2=−E2−y1K12(αnew1−αold1)−y2K22(αnew2−αold2)+bold$$b_2^{new}=-E_2-y_1{K}_{12}({\alpha }_1^{new}-{\alpha }_1^{old})-y_2{K}_{22}({\alpha }_2^{new}-{\alpha }_2^{old})+b^{old}$$

  最终的bnew$b^{new}$为：

bnew=bnew1+bnew22$$b^{new}=\frac{b_1^{new}+b_2^{new}}{2}$$

  得到了bnew$b^{new}$我们需要更新Ei$E_i$:

Ei=∑SyjαjK(xi,xj)+bnew−yi$$E_i=\sum _S{y}_j{\alpha }_{j}K(x_i,x_j)+b^{new}-y_i$$

  其中，S是所有支持向量xj$x_j$的集合。

5. SMO算法总结

  输入是m个样本(x1,y1),(x2,y2),...,(xm,ym),$(x_1,y_1),(x_2,y_2),...,(x_m,y_m),$,其中x为n维特征向量。y为二元输出，值为1，或者-1.精度e。输出是近似解α$\alpha$

1. 取初值α0=0,k=0${\alpha }^0=0,k=0$
2. 按照4.1节的方法选择αk1${\alpha }_1^k$,接着按照4.2节的方法选择αk2${\alpha }_2^k$，求出新的αnew,unc2${\alpha }_2^{new,unc}$。
   
   αnew,unc2=αk2+y2(E1−E2)K11+K22−2K12)$${\alpha }_2^{new,unc}={\alpha }_2^k+\frac{y_2(E_1-E_2)}{K_{11}+K_{22}-2K_{12})}$$
3. 按照下式求出αk+12${\alpha }_2^{k+1}$
   
   αk+12=⎧⎩⎨⎪⎪Hαnew,unc2Lαnew,unc2>HL≤αnew,unc2≤Hαnew,unc2<L$${\alpha }_2^{k+1}=\{\begin{array}{ll}H& {\alpha }_2^{new,unc}>H\\ {\alpha }_2^{new,unc}& L\le {\alpha }_2^{new,unc}\le H\\ L& {\alpha }_2^{new,unc}<L\end{array}$$
4. 利用αk+12${\alpha }_2^{k+1}$和αk+11${\alpha }_1^{k+1}$的关系求出αk+11${\alpha }_1^{k+1}$
5. 按照4.3节的方法计算bk+1$b^{k+1}$和Ei$E_i$
6. 在精度e范围内检查是否满足如下的终止条件：
   
   ∑i=1mαiyi=0$$\sum _{i=1}^m{\alpha }_i{y}_i=0$$
   
   
   0≤αi≤C,i=1,2...m$$0\le {\alpha }_i\le C,i=1,\mathrm{2...}m$$
   
   
   αk+1i=0⇒yig(xi)≥1$${\alpha }_i^{k+1}=0\Rightarrow y_{i}g(x_i)\ge 1$$
   
   
   0<αk+1i<C⇒yig(xi)=1$$0<{\alpha }_i^{k+1}<C\Rightarrow y_{i}g(x_i)=1$$
   
   
   αk+1i=C⇒yig(xi)≤1$${\alpha }_i^{k+1}=C\Rightarrow y_{i}g(x_i)\le 1$$
7. 如果满足则结束，返回αk+1${\alpha }^{k+1}$,否则转到步骤2