svm 自我入门

为了简便，我们从二分类问题开始。

损失函数

为了将绿色方块的点和红色圆圈的点分开，我们需要找到超平面（在二维空间中是线，三维是平面）。在上图中，直觉告诉我们，B1$B_1$的线更加好，因为它对训练样本局部扰动的“容忍”性最好。

我们可以用以下的线性方程组描述B1$B_1$：

wTx+b=0$${\mathbf{\text{w}}}^T\mathbf{\text{x}}+b=0$$

其中w$\mathbf{\text{w}}$就是该超平面的法向量，关于这点，我们可以任取在该超平面上的两个点x1,x2$x_1,x_2$，减一下得到wT(x1−x2)=0${\mathbf{\text{w}}}^T(x_1-x_2)=0$，那么对于x1,x2$x_1,x_2$所决定的直线，w$w$都与它垂直，所以它就是法向量。

那么任意点到超平面的距离也就可以写成：

r=|wTx+b|||w||$$r=\frac{|{\mathbf{\text{w}}}^T\mathbf{\text{x}}+b|}{||\mathbf{\text{w}}||}$$

关于这点，我们可以这么想，任取B1​$B_1$上任意一点x'​$\mathbf{\text{x'}}$（过渡的中间变量），那么对于任意一点x​$\mathbf{\text{x}}$到超平面的距离为x−x′​$x-x^{\prime }$在法向量w​$w$上的投影长度：

r=|wT(x−x')|||w||=|wTx+b|||w||$$r=\frac{|{\mathbf{\text{w}}}^T(\mathbf{\text{x}}-\mathbf{\text{x'}})|}{||\mathbf{\text{w}}||}=\frac{|{\mathbf{\text{w}}}^T\mathbf{\text{x}}+b|}{||\mathbf{\text{w}}||}$$

那么对于一个分类器y=wTx+b$y={\mathbf{\text{w}}}^T\mathbf{\text{x}}+b$，对一个样本xi$x_i$我们可以令：

{wTx+b≥+1,yi=+1wTx+b≤−1,yi=−1$$\{\begin{array}{r}{\mathbf{\text{w}}}^T\mathbf{\text{x}}+b\ge +1,y_i=+1\\ {\mathbf{\text{w}}}^T\mathbf{\text{x}}+b\le -1,y_i=-1\end{array}$$

我们可以通过成倍的改变w,b​$w,b$来改变不等式右边的值，这里固定为1便于后面计算。

那几个让等号成立的点被称为支持向量，也就是图中的b11$b_{11}$和b12$b_{12}$，

那么：

margin γ=2||w||$$margin\gamma =\frac{2}{||\mathbf{\text{w}}||}$$

svm就是想要找到最大margin的超平面，现在我们可以用数学语言来描述这个需求：

maxw,b2||w||s.t.yi(wTx+b)≥1,i=1,2,...,m.$$\begin{gathered} \underset{w,b}{max}\frac{2}{||\mathbf{\text{w}}||} \\ s.t.y_i({\mathbf{\text{w}}}^T\mathbf{\text{x}}+b)\ge 1,i=1,2,...,m. \end{gathered}$$

yi​$y_i$用于消除正负的影响。

上面的式子又等价于（为了简便）：

minw,b12||w||2s.t.yi(wTx+b)≥1,i=1,2,...,m.$$\begin{gathered} \underset{w,b}{min}\frac{1}{2}{||\mathbf{\text{w}}||}^2 \\ s.t.y_i({\mathbf{\text{w}}}^T\mathbf{\text{x}}+b)\ge 1,i=1,2,...,m. \end{gathered}$$

现在，我们有了SVM的数学描述，下面就是如何求解了。

拉格朗日乘子法

其实这就是一个凸二次优化问题，有现成的库可以直接求解，但是我们还有更优雅的数学上的解法。

”拉格朗日乘子法是一种经典的求解条件极值的解析方法，可将所有约束的优化模型问题转化为无约束极值问题的求解。“我们使用拉格朗日乘子法将上述问题转化为它的”对偶问题“，便于解决。

我们首先添加拉格朗日乘子αi≥0${\alpha }_i\ge 0$，从而得到：

L(w,b,α)=12||w||2+∑i=1mαi(1−yi(wTxi+b))$$L(w,b,\alpha )=\frac{1}{2}{||\mathbf{\text{w}}||}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$$

令

θ(w)=maxαi≥0L(w,b,α)$$\theta (w)=\underset{{\alpha }_i\ge 0}{max}\mathcal{L}(w,b,\alpha )$$

当所有的yi(wTx+b)≥1$y_i({\mathbf{\text{w}}}^T\mathbf{\text{x}}+b)\ge 1$时，θ(w)$\theta (w)$显然取到最大值12||w||2$\frac{1}{2}{||\mathbf{\text{w}}||}^2$，否则θ(w)$\theta (w)$能够取到∞$\mathrm{\infty }$。所以当满足所有约束条件时，最小化θ(w)$\theta (w)$就是最小化12||w||2$\frac{1}{2}{||\mathbf{\text{w}}||}^2$。

也就是：

minw,bθ(w)=minw,bmaxαi≥0L(w,b,α)=p∗$$\underset{w,b}{min}\theta (w)=\underset{w,b}{min}\underset{{\alpha }_i\ge 0}{max}\mathcal{L}(w,b,\alpha )=p^{\ast }$$

这里我们是先对α$\alpha$求最大值，之后再对w,b$w,b$求最小值。

下面我们先对w,b​$w,b$求最小，再对α​$\alpha$求最大。

即：

maxαi≥0minw,bL(w,b,α)=d∗$$\underset{{\alpha }_i\ge 0}{max}\underset{w,b}{min}\mathcal{L}(w,b,\alpha )=d^{\ast }$$

因为最大值中的最小值肯定大于等于最小值中的最大值，所以

p∗≥d∗$$p^{\ast }\ge d^{\ast }$$

当满足KKT条件时，

p∗=d∗$$p^{\ast }=d^{\ast }$$

。

此处，kkt条件应为

α≥0yi(wTx+b)−1≥0αi(yi(wTxi+b)−1)=0$$\begin{gathered} \alpha \ge 0 \\ {y}_i({\mathbf{\text{w}}}^T\mathbf{\text{x}}+b)-1\ge 0 \\ {\alpha }_i(y_i(w^T{x}_i+b)-1)=0 \end{gathered}$$

关于这点请参考https://www.zhihu.com/question/23311674。

简单的说，在极值点x∗$x^{\ast }$，目标函数增大的方向应该被排除在外。

因为先对w,b$w,b$求最小，那么先令w和b的偏导等于0：

w=∑i=1mαiyixi∑i=1mαiyi=0$$\begin{gathered} w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$

将w和b代入原式：

L(w,b,a)=∑i=1nαi−12∑i=1mαiαjyiyjxTixj$$L(w,b,a)=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j$$

经过如上的转化，我们把问题转化为了：

maxa∑i=1nαi−12∑i=1mαiαjyiyjxTixjs.t.ai≥0,i=1,...,n∑i=1mαiyi=0$$\begin{gathered} maxa\sum {i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.a_i\ge 0,i=1,...,n \\ \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$

SMO

为了求出α$\alpha$，我们会使用SMO算法。

针对∑i=1mαiyi=0$\sum _{i=1}^m{\alpha }_i{y}_i=0$此式，我们假设α1和α2${\alpha }_1和{\alpha }_2$是变量，其他的α$\alpha$是常量。那么

α2=1y2(∑i=3nαiyi−α1y1)≜y2(K−α1y1)$${\alpha }_2=\frac{1}{y_2}\left(\sum _{i=3}^n{\alpha }_i{y}_i-{\alpha }_1{y}_1\right)\triangleq y_2\left(K-{\alpha }_1{y}_1\right)$$

将α2${\alpha }_2$带回原目标函数中，就可以消去α2${\alpha }_2$，那么整个目标函数就是一个关于α1${\alpha }_1$的一元二次函数。同时因为α1和α2${\alpha }_1和{\alpha }_2$都有范围，所以可以得到α1${\alpha }_1$的一个取值范围，在这个范围内，我们可以很快的对二次函数求最大值，即完成一次迭代。

软间隔

我们之前讨论的默认条件是数据是线性可分的。我们在样本空间中找到一个超平面将其完全分割开来，这个超平面是最大化margin来确定的。但是很多情况下，数据不是线性可分的，会有一些outlier，如果我们将这些outlier也算进去，那我们获得的超平面会有很大程度上的过拟合。

我们原来对所有的样本都要求

yi(wTxi+b)≥1$$y_i(w^T{x}_i+b)\ge 1$$

现在我们允许一些样本不满足上述约束，当然，这样的样本应该尽量的少。

我们改写原来的优化目标：

minw,b12||w||2+C∑i=1ml0/1(yi(wTxi+b)−1),C>0$$\underset{w,b}{min}\frac{1}{2}{||\mathbf{\text{w}}||}^2+C\sum _{i=1}^m{l}_{0/1}(y_i(w^T{x}_i+b)-1),C>0$$

这里的C$C$用来控制第一项寻找margin最大的超平面和第二项保证数据量偏差最小之间的权重。上式中的

l01$$l_{01}$$

是一个01损失函数，我们一般使用hinge loss来替换它：

lhinge(z)=max(0,1−z)$$l_{hinge}(z)=max(0,1-z)$$

原本的分类平面是红色的线，对应的分别是蓝色和粉色的线。但是考虑到黑圈圈起来的蓝点，原来的超平面就偏移到黑色虚线那里了。

现在我们引入松弛变量ξi≥0${\xi }_i\ge 0$ ，对应上图黑色线段，据此将约束条件改为

yi(wTxi+b)≥1−ξi$$y_i(w^T{x}_i+b)\ge 1-{\xi }_i$$

再重写上式

minw,b12||w||2+C∑i=1mξi$$\underset{w,b}{min}\frac{1}{2}{||\mathbf{\text{w}}||}^2+C\sum _{i=1}^m{\xi }_i$$

接下来同上面的拉格朗日乘子法，我们可以解得

maxαs.t.,∑i=1mαi–12∑i,j=1mαiαjyiyj⟨xi,xj⟩0≤αi≤C,i=1,…,m∑i=1mαiyi=0(25)(26)(27)$$\begin{array}{}\text{(25)}& \underset{\alpha }{max}& \sum _{i=1}^m{\alpha }_i–\frac{1}{2}\sum _{i,j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j⟨x_i,x_j⟩\text{(26)}& s.t.,& 0\le {\alpha }_i\le C,i=1,\dots ,m\text{(27)}& & \sum _{i=1}^m{\alpha }_i{y}_i=0\end{array}$$

Reference

https://www.cnblogs.com/en-heng/p/5965438.html

《机器学习》 周志华

http://blog.pluskid.org/（kid神真的写的好啊）

https://www.cnblogs.com/90zeng/p/Lagrange_duality.html

https://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html(SMO，写的非常详细)