支持向量机(SVM)第三章---软间隔

参考周老师《机器学习》

在前面两章里，我们都是假设样本在原始空间或者高维空间里线性可分，并且我们提到核函数的选择成为SVM的关键。即使我们找到了合适的核函数，也难断定是否是因过拟合造成的。

引入软间隔，允许一些样本不满足约束条件。在前面两章所介绍的都是硬间隔，即所有样本都必须满足约束条件。

优化目标为：
min12||w||2+C∑ni=1l0/1(yi(wTxi+b)−1)$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{l}_{0/1}(y_i(w^T{x}_i+b)-1)$
其中C>0$C>0$是一个常数，l0/1$l_{0/1}$是”0-1损失函数“。

• z<0$z<0$，l0/1(z)=1$l_{0/1}(z)=1$
• z≥0,l0/1=0$z\ge 0,l_{0/1}=0$

然而l0/1$l_{0/1}$是非凸、非连续的，因此需要一些“替代损失”，它们是凸的连续的且是l0/1$l_{0/1}$的上界。比如：hinge损失、指数损失、对率损失

用hinge损失代替优化目标里的0-1损失：
min12||w||2+C∑ni=1max(0,−(yi(wTxi+b)−1))$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^{n}max(0,-(y_i(w^T{x}_i+b)-1))$

引入松弛变量ξi≥0${\xi }_i\ge 0$,又可进一步重写为：
min12||w||2+C∑ni=1ξi$min\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i$
s.t.yi(wTxi+b)≥1−ξi$s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i$
ξi≥0,i=1,2,...,n${\xi }_i\ge 0,i=1,2,...,n$

通过拉格朗日乘子法可以得到对应的拉格朗日函数：
L(w,b,ξ)=12||w||2+C∑ni=1ξi+∑ni=1βi(−ξi)+∑ni=1αi(1−ξi−yi(wTxi+b))$L(w,b,\xi )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^n{\xi }_i+\sum _{i=1}^n{\beta }_i(-{\xi }_i)+\sum _{i=1}^n{\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))$
其中αi≥0,βi≥0${\alpha }_i\ge 0,{\beta }_i\ge 0$是拉格朗日乘子
∂L∂w=w−∑ni=1αiyixi=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }w}=w-\sum _{i=1}^n{\alpha }_i{y}_i{x}_i=0$
w=∑ni=1αiyixi$w=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i$
∂L∂b=∑ni=1−αiyi=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }b}=\sum _{i=1}^n-{\alpha }_i{y}_i=0$
∑ni=1αiyi=0$\sum _{i=1}^n{\alpha }_i{y}_i=0$
∂L∂ξi=C−βi−αi=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\xi }_i}=C-{\beta }_i-{\alpha }_i=0$
C=βi+αi$C={\beta }_i+{\alpha }_i$

带入上面的拉格朗日函数便得到软间隔支持向量机的对偶问题：

软间隔支持向量机的KKT条件：

• ∂L∂w=0,∂L∂b=0,∂L∂ξi=0$\frac{\mathrm{\partial }L}{\mathrm{\partial }w}=0,\frac{\mathrm{\partial }L}{\mathrm{\partial }b}=0,\frac{\mathrm{\partial }L}{\mathrm{\partial }{\xi }_i}=0$
• −ξi≤0,1−ξi−yi(wTxi+b)≤0$-{\xi }_i\le 0,1-{\xi }_i-y_i(w^T{x}_i+b)\le 0$
• αi≥0,βi≥0${\alpha }_i\ge 0,{\beta }_i\ge 0$
• αi(1−ξi−yi(wTxi+b))=0,βi(−ξi)=0${\alpha }_i(1-{\xi }_i-y_i(w^T{x}_i+b))=0,{\beta }_i(-{\xi }_i)=0$

最终的模型仍是：
f(x)=wTx+b=∑ni=1αiyixTix+b$f(x)=w^{T}x+b=\sum _{i=1}^n{\alpha }_i{y}_i{x}_i^{T}x+b$

根据KKT可知：
αi=0${\alpha }_i=0$对应的样本不对f(x)$f(x)$产生影响；当αi>0${\alpha }_i>0$时，此时对应的样本是支持向量，如果αi<C${\alpha }_i<C$，根据C=αi+βi$C={\alpha }_i+{\beta }_i$,可知βi>0${\beta }_i>0$，那么ξi=0${\xi }_i=0$，则该样本在最大间隔边界上；如果αi=C${\alpha }_i=C$,那么βi=0${\beta }_i=0$,如果ξi≤1${\xi }_i\le 1$，则样本落在最大间隔内部，若ξi>1${\xi }_i>1$,则样本被错误分类。

软间隔支持向量机的最终模型同样只与支持向量有关，通过hinge损失函数保持了解的稀疏性。