【机器学习】支持向量机原理（一）线性支持向量机

引入

　　给定训练集样本 D=(x1,y1),(x2,y2),...,(xm,ym),yi∈{−1,+1}$\mathbf{D}=(x_1,y_1),(x_2,y_2),...,(x_m,y_m),y_i\in \left\{-1,+1\right\}$，支持向量机的核心思想就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。但是能将训练样本分开的划分超平面可能有很多，例如下图：

---

函数间隔与几何间隔

　　为了找出泛化能力最好的分隔超平面，我们需要了解一下函数间隔和几何间隔的概念。
　　我们首先将分隔超平定义为 wTx+b=0$w^{T}x+b=0$
　　在超平面 wTx+b=0$w^{T}x+b=0$确定的情况下， |wTx+b|$|w^{T}x+b|$可以相对地表示点距离超平面的远近。对于二分类问题，如果 wTx+b>0$w^{T}x+b>0$，则 x$x$的类别被判定为1；否则判定为-1。如下图：
　　
　　
　　所以如果 y(wTx+b)>0$y(w^{T}x+b)>0$，则认为 x$x$的分类结果是正确的，否则是错误的。且 y(wTx+b)$y(w^{T}x+b)$的值越大，分类结果的确信度越大。反之亦然。
　　所以样本点 (xi,yi)$(x_i,y_i)$与超平面 (w,b)$(w,b)$之间的函数间隔定义为:

　　γi=yi(wTx+b)$$\begin{array}{r} {\gamma }_i=y_i(w^{T}x+b)\end{array}$$

　　但是该定义存在问题：即和同时缩小或放大M倍后，超平面并没有变化，但是函数间隔却变化了。所以，需要将 w$w$的大小固定，如 ||w||=1$||w||=1$，使得函数间隔固定。这时的间隔也就是几何间隔 。
　　几何间隔的定义如下

　　γ′i=yi(wTx+b)||w||=γi||w||$$\begin{array}{r} {\gamma }_i^{\prime }=\frac{y_i(w^{T}x+b)}{||w||}=\frac{{\gamma }_i}{||w||}\end{array}$$

　　实际上，几何间隔就是点到超平面的距离。想像下中学学习的点 (xi,yi)$(x_i,y_i)$到直线 ax+by+c=0$ax+by+c=0$的距离公式

d(xi,yi)=|axi+byi+c|a2+b2−−−−−−√$$\begin{array}{r}d(x_i,y_i)=\frac{|a{x}_i+b{y}_i+c|}{\sqrt{a^2+b^2}}\end{array}$$

　　所以在二维空间中，几何间隔就是点到直线的距离。在三维及以上空间中，就是点到超平面的距离。而函数距离，就是上述距离公式中的分子，即未归一化的距离。

---

SVM的核心思想

　　 在感知机模型中，我们可以找到多个可以分类的超平面将数据分开，并且优化时希望所有的点都离超平面远。但是实际上离超平面很远的点已经被正确分类，我们让它离超平面更远并没有意义。反而我们最关心是那些离超平面很近的点，这些点很容易被误分类。如果我们可以让离超平面比较近的点（这些点称为支持向量）尽可能的远离超平面，那么我们的分类效果会好有一些。SVM的思想起源正起于此。
　　 根据数学上的转换（具体查看博文 通俗直观地解释为什么svm支持向量机可以假设离判决面最近的点在wx+b=±1上），我们总能找到一个分隔超平面 wTx+b=0$w^{T}x+b=0$，使得离它最近的点和分割超平面 wTx+b=0$w^{T}x+b=0$的函数距离为1，即这些点在超平面 wTx+b=+1$w^{T}x+b=+1$或超平面 wTx+b=−1$w^{T}x+b=-1$上。而这些在超平面 wTx+b=+1$w^{T}x+b=+1$或超平面 wTx+b=−1$w^{T}x+b=-1$上的点我们称为支持向量，如下图圈出来的点。
　　
　　 支持向量到超平面的距离为 1||w||$\frac{1}{||w||}$，不同类的支持向量之间的距离为 2||w||$\frac{2}{||w||}$。为了找出泛化能力好的分割超平面，SVM的目标就是要找出一个分割超平面，使得 2||w||$\frac{2}{||w||}$最大。因此SVM的目标函数为：

　　maxγ=2||w||s.t.yi(wTx+b)≥1(i=1,2,...m)(1)$$\begin{array}{}\text{(1)}& max\gamma =\frac{2}{||w||}s.t.y_i(w^{T}x+b)\ge 1(i=1,2,...m)\end{array}$$

　

---

SVM目标函数的优化

　　 上面的式子（1）可以等价于：

　　min12||w||2s.t.yi(wTx+b)≥1(i=1,2,...m)(2)$$\begin{array}{}\text{(2)}& min\frac{1}{2}||w|{|}^{2}s.t.y_i(w^{T}x+b)\ge 1(i=1,2,...m)\end{array}$$

　
　　 由于目标函数 12||w||2$\frac{1}{2}||w|{|}^2$是凸函数，同时约束条件不等式是仿射的，根据凸优化理论，我们可以通过拉格朗日函数将我们的优化目标转化为无约束的优化函数，拉格朗日函数如下：

　L(w,b,α)=12||w||2−∑i=1mαi[yi(wTxi+b)−1]满足αi≥0(3)$$\begin{array}{}\text{(3)}& L(w,b,\alpha )=\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1]满足{\alpha }_i\ge 0\end{array}$$

　　 由于引入了朗格朗日乘子，我们的优化目标变成：

　minw,bmaxαi≥0L(w,b,α)　(4)$$\begin{array}{}\text{(4)}& \underset{w,b}{\underbrace{min}}\underset{{\alpha }_i\ge 0}{\underbrace{max}}L(w,b,\alpha ) \end{array}$$

　　 根据拉格朗日对偶这篇博文，式子（4）等价于求解下面式子：

　maxαi≥0minw,bL(w,b,α)　(5)$$\begin{array}{}\text{(5)}& \underset{{\alpha }_i\ge 0}{\underbrace{max}}\underset{w,b}{\underbrace{min}}L(w,b,\alpha ) \end{array}$$

　　
　　 式子（5）表示我们可以先求优化函数对于w和bw和b的极小值。接着再求拉格朗日乘子 α$\alpha$ 的极大值。
　　 首先我们来求 w$w$和 b$b$和b的极小值，即 minw,bL(w,b,α)$\underset{w,b}{\underbrace{min}}L(w,b,\alpha )$。这个极值我们可以通过对w和b分别求偏导数得到：

∂L∂w=0⇒w=∑i=1mαiyixi　∂L∂b=0⇒∑i=1mαiyi=0　$$\begin{array}{r}\frac{\mathrm{\partial }L}{\mathrm{\partial }w}=0\Rightarrow w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\\ \frac{\mathrm{\partial }L}{\mathrm{\partial }b}=0\Rightarrow \sum _{i=1}^m{\alpha }_i{y}_i=0 \end{array}$$

　　 好了，既然我们已经求出 w$w$和 α$\alpha$的关系，就可以带入优化函数 L(w,b,α)$L(w,b,\alpha )$消去 w$w$了。我们定义:

φ(α)=minw,bL(w,b,α)$$\begin{array}{r}\phi (\alpha )=\underset{w,b}{\underbrace{min}}L(w,b,\alpha )\end{array}$$

　　 现在我们来看将 w$w$替换为 α$\alpha$的表达式以后的优化函数 φ(α)$\phi (\alpha )$的表达式：

φ(α)=12||w||2−∑i=1mαi[yi(wTxi+b)−1]=12wTw−∑i=1mαiyiwTxi−∑i=1mαiyib+∑i=1mαi=12wT∑i=1mαiyixi−∑i=1mαiyiwTxi−∑i=1mαiyib+∑i=1mαi=12wT∑i=1mαiyixi−wT∑i=1mαiyixi−∑i=1mαiyib+∑i=1mαi=−12wT∑i=1mαiyixi−∑i=1mαiyib+∑i=1mαi=−12wT∑i=1mαiyixi−b∑i=1mαiyi+∑i=1mαi=−12(∑i=1mαiyixi)T(∑i=1mαiyixi)−b∑i=1mαiyi+∑i=1mαi=−12∑i=1mαiyixTi∑i=1mαiyixi−b∑i=1mαiyi+∑i=1mαi=−12∑i=1mαiyixTi∑i=1mαiyixi+∑i=1mαi=−12∑i=1,j=1mαiyixTiαjyjxj+∑i=1mαi(1)(2)(3)(4)(5)(6)(7)(8)(9)(10)$$\begin{array}{}\text{(1)}& \phi (\alpha )& =\frac{1}{2}||w|{|}^2-\sum _{i=1}^m{\alpha }_i[y_i(w^T{x}_i+b)-1]\text{(2)}& & =\frac{1}{2}{w}^{T}w-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\text{(3)}& & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_i{w}^T{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\text{(4)}& & =\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-w^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\text{(5)}& & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-\sum _{i=1}^m{\alpha }_i{y}_{i}b+\sum _{i=1}^m{\alpha }_i\text{(6)}& & =-\frac{1}{2}{w}^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\text{(7)}& & =-\frac{1}{2}(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i{)}^T(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i)-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\text{(8)}& & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i-b\sum _{i=1}^m{\alpha }_i{y}_i+\sum _{i=1}^m{\alpha }_i\text{(9)}& & =-\frac{1}{2}\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T\sum _{i=1}^m{\alpha }_i{y}_i{x}_i+\sum _{i=1}^m{\alpha }_i\text{(10)}& & =-\frac{1}{2}\sum _{i=1,j=1}^m{\alpha }_i{y}_i{x}_i^T{\alpha }_j{y}_j{x}_j+\sum _{i=1}^m{\alpha }_i\end{array}$$

　　 从上面可以看出，通过对 w,b$w,b$极小化以后，我们的优化函数 φ(α)$\phi (\alpha )$仅仅只有 α$\alpha$向量做参数。只要我们能够极大化 φ(α)$\phi (\alpha )$，就可以求出此时对应的 α$\alpha$，进而求出 w,b$w,b$.
　　 对 φ(α)$\phi (\alpha )$求极大化的数学表达式如下：

maxα−12∑i=1m∑j=1mαiαjyiyj(xi∙xj)+∑i=1mαis.t.∑i=1mαiyi=0αi≥0i=1,2,...m(1)$$\begin{gathered} \begin{array}{}\text{(1)}& \underset{\alpha }{\underbrace{max}}-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)+\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0i=1,2,...m\end{array} \end{gathered}$$

　　 可以去掉负号，即为等价的极小化问题如下：

minα12∑i=1m∑j=1mαiαjyiyj(xi∙xj)−∑i=1mαis.t.∑i=1mαiyi=0αi≥0i=1,2,...m(2)$$\begin{gathered} \begin{array}{}\text{(2)}& \underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0i=1,2,...m\end{array} \end{gathered}$$

　　 只要我们可以求出上式极小化时对应的 α$\alpha$向量就可以求出 w$w$和 b$b$了。具体怎么极小化上式得到对应的 α$\alpha$，一般需要用到 SMO$SMO$ 算法，这个算法比较复杂，我们后面会专门来讲。在这里，我们假设通过SMO算法，我们得到了对应的 α$\alpha$ 的值 α∗${\alpha }^{\ast }$。
　　 那么我们根据 w=∑i=1maiyixi$w=\sum _{i=1}^m{a}_i{y}_i{x}_i$，可以求出对应的 w$w$ 的值：

w∗=∑i=1ma∗iyixi(3)$$\begin{array}{}\text{(3)}& w^{\ast }=\sum _{i=1}^m{a}_i^{\ast }{y}_i{x}_i\end{array}$$

　　 求 b$b$ 则稍微麻烦一点。注意到，对于任意支持向量 (xs,ys)$(x_s,y_s)$，都有

ys(wTxs+b)=ys(∑i=1maiyixTixs+b)=1(4)$$\begin{array}{}\text{(4)}& y_s(w^T{x}_s+b)=y_s(\sum _{i=1}^m{a}_i{y}_i{x}_i^T{x}_s+b)=1\end{array}$$

　　 假设我们有 S$S$ 个支持向量，则对应我们求出 S$S$ 个 b∗$b^{\ast }$ ,理论上这些 b∗$b^{\ast }$都可以作为最终的结果， 但是我们一般采用一种更健壮的办法，即求出所有支持向量所对应的 b∗s$b_s^{\ast }$，然后将其平均值作为最后的结果。
　　 怎么得到支持向量呢？根据KKT条件中的对偶互补条件 a∗i(yi(wTxi+b)−1)=0$a_i^{\ast }(y_i(w^T{x}_i+b)-1)=0$，我知道如果 αi>0${\alpha }_i>0$，则有 yi(wTxi+b)=1$y_i(w^T{x}_i+b)=1$，即该点 (xi,yi)$(x_i,y_i)$就是支持向量。如果 αi=0${\alpha }_i=0$，则有 yi(wTxi+b)≥1$y_i(w^T{x}_i+b)\ge 1$，即该点 (xi,yi)$(x_i,y_i)$不是支持向量。
　　

---

线性可分SVM的算法过程

　　 这里我们对线性可分SVM的算法过程做一个总结。
　　 输入是线性可分的m个样本 (x1,y1),(x2,y2),...,(xm,ym)$(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$，其中 x$x$为n为特征向量。 y$y$为二元输出，值为1或者值为-1.
　　 输出是分割超平面的参数 w∗$w^{\ast }$和 b∗$b^{\ast }$、分类决策函数。
　　 算法过程如下：
　　 1) 构造约束优化问题

minα12∑i=1m∑j=1mαiαjyiyj(xi∙xj)−∑i=1mαis.t.∑i=1mαiyi=0αi≥0i=1,2,...m(5)$$\begin{gathered} \begin{array}{}\text{(5)}& \underset{\alpha }{\underbrace{min}}\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\bullet x_j)-\sum _{i=1}^m{\alpha }_i \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i\ge 0i=1,2,...m\end{array} \end{gathered}$$

　　 2) 用SMO算法求出上式最小时对应的 α$\alpha$向量的值  α∗${\alpha }^{\ast }$向量.
　　 3) 计算 w∗=∑i=1mα∗iyixi$w^{\ast }=\sum _{i=1}^m{\alpha }_i^{\ast }{y}_i{x}_i$
　　 4) 找出所有的 S$S$个支持向量，即满足  αs>0${\alpha }_s>0$对应的样本 (xs,ys)$(x_s,y_s)$，通过 ys(∑i=1mαiyixTixs+b)=1$y_s(\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T{x}_s+b)=1$，计算出每个支持向量 (xs,ys)$(x_s,y_s)$对应的 b∗s$b_s^{\ast }$，计算出这些 b∗s=ys−∑i=1mαiyixTixs$b_s^{\ast }=y_s-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^T{x}_s$. 所有的 b∗s$b_s^{\ast }$对应的平均值即为最终的 b∗=1S∑i=1Sb∗s$b^{\ast }=\frac{1}{S}\sum _{i=1}^S{b}_s^{\ast }$.
　　 这样最终的分割超平面为: w∗∙x+b∗=0$w^{\ast }\bullet x+b^{\ast }=0$，最终的分类决策函数为： f(x)=sign(w∗∙x+b∗)$f(x)=sign(w^{\ast }\bullet x+b^{\ast })$
　　

---

线性可分SVM的缺点

　　 线性可分SVM的学习方法对于非线性的数据集是没有办法使用的， 有时候不能线性可分的原因是线性数据集里面多了少量的异常点，由于这些异常点导致了数据集不能线性可分， 那么怎么可以处理这些异常点使数据集依然可以用线性可分的思想呢？ 我们在下一节的线性SVM的软间隔最大化里继续讲。

---

帮助理解的相关链接　

1.通俗直观地解释为什么svm支持向量机可以假设离判决面最近的点在wx+b=±1上
2.拉格朗日对偶
3.支持向量机中的函数距离和几何距离怎么理解？
4.支持向量机原理(一) 线性支持向量机