机器学习（二）支持向量机

支持向量机

支持向量机（Support vector machines, SVM）是一种二分类模型。基础模型是定义在特征空间上的最大间隔分类器。支持向量机的目标就是最大化间隔。

线性可分

能做一个超平面分开训练数据

支持向量机的分类

根据训练数据是否线性可分，支持向量机可以分成：

• 训练数据线性可分：线性支持向量机
• 训练数据近似线性可分：软间隔支持向量机
• 训练数据线性不可分：非线性支持向量机（核技巧、软间隔）

线性可分：线性支持向量机的推导

设超平面是Wx+b=0,且到两边的支持向量（离超平面最近的向量）的距离相等。设d为支持向量到超平面的距离，我们的目标是使得d最大化。可以得到优化目标

minw s.t.        12||w||2yi(wxi+b)−1≥0,i=1,2,...,N(112)$$\begin{array}{}\text{(112)}& \begin{array}{rl}\underset{w}{min}& \frac{1}{2}||w|{|}^2\\ s.t.& y_i(w{x}_i+b)-1\ge 0,i=1,2,...,N\end{array}\end{array}$$

现在我们解释下如何得到上面这个优化形式。
我们首先是要把d表示出来。首先我们用点到直线的距离公式表示出d$d$

d=||wxi+b||||w||(113)$$\begin{array}{}\text{(113)}& d=\frac{||w{x}_i+b||}{||w||}\end{array}$$

因为xi$x_i$是支持向量，设||wxi+b||=c$||w{x}_i+b||=c$，c是一个常数，我们缩放w和b，使得

||wxi+b||=1(114)$$\begin{array}{}\text{(114)}& ||w{x}_i+b||=1\end{array}$$

因此，d=1||w||$d=\frac{1}{||w||}$,所以最大化d等价于最小化||w||2$||w|{|}^2$.

• 最大间隔超平面存在且唯一
• 由前述分析可知，若xi$x_i$是支持向量，则有||wxi+b||=1$||w{x}_i+b||=1$，即：不等式约束取等号。
• 间隔（magin）是指2||w||$\frac{2}{||w||}$，即分类面两边的支持向量到分类面的距离之和。
• 决定超平面的是支持向量，其他实例点不起作用。支持向量的数目一般较少。

求解

minw s.t.        12||w||2yi(wxi+b)−1≥0,i=1,2,...,N(2130)$$\begin{array}{}\text{(2130)}& \begin{array}{rl}\underset{w}{min}& \frac{1}{2}||w|{|}^2\\ s.t.& y_i(w{x}_i+b)-1\ge 0,i=1,2,...,N\end{array}\end{array}$$

化为标准形式是：

minw s.t.        12||w||21−yi(wxi+b)≤0,i=1,2,...,N(2131)$$\begin{array}{}\text{(2131)}& \begin{array}{rl}\underset{w}{min}& \frac{1}{2}||w|{|}^2\\ s.t.& 1-y_i(w{x}_i+b)\le 0,i=1,2,...,N\end{array}\end{array}$$

此问题是一个凸的二次规划问题，这是因为目标函数是二次的，且不等式约束是仿射函数。
为了求解这个问题，我们首先要把不等式约束去掉，把这个问题转化为一个无约束的优化问题，方法是拉格朗日乘子法：其思想是考虑约束条件，添加约束条件的加权和，定义拉格朗日函数：

L(w,b,α)=12||w||2+∑i=1Nαi(1−yi(wxi+b))αi≥0,i=1,2,...,N(2132)$$\begin{gathered} \begin{array}{}\text{(2132)}& L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^N{\alpha }_i(1-y_i(w{x}_i+b)) \\ {\alpha }_i\ge 0,i=1,2,...,N\end{array} \end{gathered}$$

其中，α=(α1,α2,...,αN)T$\alpha =({\alpha }_1,{\alpha }_2,...,{\alpha }_N{)}^T$为拉格朗日乘子向量。
分析上式，因为在标准形式里，不等式约束是小于等于0的，而拉格朗日乘子又是大于等于0的，所以拉格朗日函数总是小于等于原函数。
(1)求拉格朗日对偶函数：

g(α)=minw,b L(w,b,α)(2133)$$\begin{array}{}\text{(2133)}& g(\alpha )=\underset{w,b}{min}L(w,b,\alpha )\end{array}$$

将拉格朗日函数对w和b分别求偏导数，并令其等于0，得：

∂L∂w∂L∂b=w−∑i=1Nαiyixi=0=∑i=1Nαiyi=0(2134)$$\begin{array}{}\text{(2134)}& \begin{array}{rl}\frac{\mathrm{\partial }L}{\mathrm{\partial }w}& =w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ \frac{\mathrm{\partial }L}{\mathrm{\partial }b}& =\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}\end{array}$$

代入拉格朗日函数并化简得：

minw,b L(w,b,α)=−12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)+∑i=1Nαi(2135)$$\begin{array}{}\text{(2135)}& \underset{w,b}{min}L(w,b,\alpha )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\end{array}$$

于是得到对偶问题：

maxα s.t. −12∑i=1N∑j=1Nαiαjyiyj(xi⋅xj)+∑i=1Nαi∑i=1Nαiyi=0αi≥0,i=1,2,...,N(2136)$$\begin{array}{}\text{(2136)}& \begin{array}{rl}\underset{\alpha }{max}& -\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i\\ s.t.& \sum _{i=1}^N{\alpha }_i{y}_i=0\\ & {\alpha }_i\ge 0,i=1,2,...,N\end{array}\end{array}$$

求得对偶问题的解为：α∗=(α∗1,α∗2,...,α∗N)T${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },...,{\alpha }_N^{\ast }{)}^T$

从对偶问题的解到原问题的解

对偶问题

引用

http://blog.csdn.net/qq_32611933/article/details/52261708