（此部分主要参考李航老师的《统计学习方法》）
支持向量机（support vector machines，SVM）是一种二类分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划（convex quadratic programming）的问题，也等价于正则化的合页损失函数的最小化问题。
支持向量机按模型复杂程度可以分为线性可分支持向量机（linear support vector machine in linearly separable case）、线性支持向量机（linear support vector machine）、非线性支持向量机（non-linear support vector machine）。
当训练数据线性可分时，通过硬间隔最大化学习一个线性的分类器；当训练数据近似线性可分时，通过软间隔最大化学习一个线性分类器；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。
给定线性可分训练数据集，通过间隔最大化或等价地求解相应的凸二次规划问题学习得到的分离超平面为w ∗ ⋅ x + b ∗ = 0
w^*\cdot x + b^* = 0
w ∗ ⋅ x + b ∗ = 0 f ( x ) = s i g n ( w ∗ ⋅ x + b ∗ )
f(x)=sign(w^*\cdot x + b^*)
f ( x ) = s i g n ( w ∗ ⋅ x + b ∗ )
几何间隔一般是实例点到超平面的带符号的距离，当样本点被超平面正确分类时就是实例点到超平面的距离。T T T w , b w,b w , b w , b w,b w , b x i , y i x_i,y_i x i , y i γ i = y i ( w ∥ w ∥ ⋅ x + b ∥ w ∥ )
\gamma_i = y_i(\frac w {\lVert w \rVert} \cdot x + \frac b {\lVert w \rVert})
γ i = y i ( ∥ w ∥ w ⋅ x + ∥ w ∥ b ) w , b w,b w , b T T T w , b w,b w , b T T T x i , y i x_i, y_i x i , y i γ = min i = 1 , . . . , N γ i
\gamma = \min_{i=1,...,N} \gamma_i
γ = i = 1 , . . . , N min γ i
对于给定的训练数据集T T T w , b w,b w , b w , b w,b w , b x i , y i x_i,y_i x i , y i γ ^ i = y i ( w ⋅ x i + b )
\hat \gamma_i = y_i(w\cdot x_i + b)
γ ^ i = y i ( w ⋅ x i + b )
定义超平面(w , b w,b w , b T T T w , b w,b w , b T T T x i , y i x_i, y_i x i , y i γ ^ = min i = 1 , . . . , N γ ^ i
\hat \gamma = \min_{i=1,...,N} \hat \gamma_i
γ ^ = i = 1 , . . . , N min γ ^ i γ i = γ ^ i ∥ w ∥
\gamma_i = \frac{\hat \gamma_i}{\lVert w \rVert}
γ i = ∥ w ∥ γ ^ i γ = γ ^ ∥ w ∥
\gamma=\frac{\hat \gamma}{\lVert w \rVert}
γ = ∥ w ∥ γ ^
支持向量机学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，对线性可分的训练数据集而言，线性可分分离超平面有无穷多个，但是几何间隔最大的分离超平面是唯一的。
间隔最大化的直观解释是：对训练数据集找到几何间隔最大的超平面意味着以充分大的确信度对训练数据进行分类。
考虑如何求得一个几何间隔最大的分离超平面，即最大间隔分离超平面，具体的，这个问题可以表示为下面的约束最优化问题：max w , b γ
\max_{w,b} \quad \gamma
w , b max γ s . t . y i ( w ∥ w ∥ ⋅ x i + b ∥ w ∥ ) ⩾ γ , i = 1 , 2 , . . . , N
s.t. \quad y_i(\frac w {\lVert w \rVert} \cdot x_i+\frac b {\lVert w \rVert}) \geqslant \gamma, \quad i=1,2,...,N
s . t . y i ( ∥ w ∥ w ⋅ x i + ∥ w ∥ b ) ⩾ γ , i = 1 , 2 , . . . , N ( w , b ) (w,b) ( w , b ) γ \gamma γ w , b w,b w , b γ \gamma γ
上述条件式左右同乘∥ w ∥ \lVert w \rVert ∥ w ∥ max w , b γ ^ ∥ w ∥
\max_{w,b} \frac{\hat\gamma}{\lVert w \rVert}
w , b max ∥ w ∥ γ ^ s . t . y i ( w ⋅ x i + b ) ⩾ γ ^ , i = 1 , 2 , . . . , N
s.t. \quad y_i(w \cdot x_i + b) \geqslant \hat \gamma,\quad i=1,2,...,N
s . t . y i ( w ⋅ x i + b ) ⩾ γ ^ , i = 1 , 2 , . . . , N γ ^ \hat \gamma γ ^ 1 ∥ w ∥ \frac 1 {\lVert w \rVert} ∥ w ∥ 1 1 2 ∥ w ∥ 2 \frac 1 2 \lVert w \rVert^2 2 1 ∥ w ∥ 2 min w , b 1 2 ∥ w ∥ 2
\min_{w,b} \frac 1 2 \lVert w \rVert^2
w , b min 2 1 ∥ w ∥ 2 s . t . y i ( w ⋅ x i + b ) − 1 ⩾ 0 , i = 1 , 2 , . . . , N
s.t. \quad y_i(w\cdot x_i + b)-1\geqslant 0,\quad i=1,2,...,N
s . t . y i ( w ⋅ x i + b ) − 1 ⩾ 0 , i = 1 , 2 , . . . , N
所谓凸优化问题，是指约束最优化问题min w f ( w )
\min_w \quad f(w)
w min f ( w ) s . t . g i ( w ) ⩽ 0 , i = 1 , 2 , . . . , k
s.t. \quad g_i(w) \leqslant 0, \quad i=1,2,...,k
s . t . g i ( w ) ⩽ 0 , i = 1 , 2 , . . . , k h i ( w ) = 0 , i = 1 , 2 , . . , l
\qquad h_i(w)=0,\quad i=1,2,..,l
h i ( w ) = 0 , i = 1 , 2 , . . , l f ( w ) f(w) f ( w ) g i ( w ) g_i(w) g i ( w ) R n R^n R n h i ( w ) h_i(w) h i ( w ) R n R^n R n f ( w ) f(w) f ( w ) g i ( w ) g_i(w) g i ( w )
综上，就有下面的线性可分支持向量机的学习算法——最大间隔法 （maximum margin method）。T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2, y_2),...,(x_N,y_N)\} T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , . . . , N ; x_i\in X=\R^n,y_i\in Y=\{-1,+1\},i=1,2,...,N; x i ∈ X = R n , y i ∈ Y = { − 1 , + 1 } , i = 1 , 2 , . . . , N ; min w , b 1 2 ∥ w ∥ 2
\min_{w,b} \frac 1 2 \lVert w \rVert^2
w , b min 2 1 ∥ w ∥ 2 s . t . y i ( w ⋅ x i + b ) − 1 ⩾ 0 , i = 1 , 2 , . . . , N
s.t. \quad y_i(w\cdot x_i + b)-1 \geqslant 0, \quad i=1,2,...,N
s . t . y i ( w ⋅ x i + b ) − 1 ⩾ 0 , i = 1 , 2 , . . . , N w ∗ , b ∗ w^*, b^* w ∗ , b ∗ w ∗ ⋅ x + b ∗ = 0
w^* \cdot x + b^* = 0
w ∗ ⋅ x + b ∗ = 0 f ( x ) = s i g n ( w ∗ ⋅ x + b ∗ )
f(x) = sign(w^*\cdot x+b^*)
f ( x ) = s i g n ( w ∗ ⋅ x + b ∗ )
在线性可分情况下， 训练数据集的样本点中与分列超平面距离最近的样本点的实例成为支持向量（support vector），支持向量是使约束条件式等号成立的点，即y i ( w ⋅ x i + b ) − 1 = 0
y_i(w\cdot x_i+b)-1=0
y i ( w ⋅ x i + b ) − 1 = 0 y i = + 1 y_i=+1 y i = + 1 H 1 : ( w ⋅ x i + b ) = 1
H_1:(w \cdot x_i +b )=1
H 1 : ( w ⋅ x i + b ) = 1 y i = − 1 y_i=-1 y i = − 1 H 2 : w ⋅ x + b = − 1
H_2:w\cdot x +b=-1
H 2 : w ⋅ x + b = − 1 H 1 与 H 2 H_1与H_2 H 1 与 H 2 H 1 与 H 2 H_1与H_2 H 1 与 H 2 w w w 2 ∥ w ∥ \frac 2 {\lVert w \rVert} ∥ w ∥ 2 H 1 和 H 2 H_1和H_2 H 1 和 H 2
在决定分离超平面时只有支持向量起作用，而其他实例点并不起作用。
应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解，这样做的优点，一是对偶问题往往更容易求解；二是自然引入核函数，进而推广到非线性分类问题。
首先，构建拉格朗日函数：L ( w , b , α ) = 1 2 ∥ w ∥ 2 − ∑ i = 1 N α i y i ( w ⋅ x i + b ) + ∑ i = 1 N α i
L(w,b,\alpha)=\frac 1 2 {\lVert w \rVert}^2 - \sum^N_{i=1}\alpha_i y_i(w\cdot x_i+b)+\sum_{i=1}^N \alpha_i
L ( w , b , α ) = 2 1 ∥ w ∥ 2 − i = 1 ∑ N α i y i ( w ⋅ x i + b ) + i = 1 ∑ N α i α = ( α 1 , α 2 , . . . , α N ) T \alpha=(\alpha_1, \alpha_2,...,\alpha_N)^T α = ( α 1 , α 2 , . . . , α N ) T max α min w , b L ( w , b , α )
\max_\alpha \min_{w,b}L(w,b,\alpha)
α max w , b min L ( w , b , α ) w , b w,b w , b min α 1 2 ∑ i = 1 N ∑ j = 1 N α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 N α i
\min_\alpha \quad\frac 1 2 \sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j (x_i \cdot x_j)-\sum_{i=1}^N \alpha_i
α min 2 1 i = 1 ∑ N j = 1 ∑ N α i α j y i y j ( x i ⋅ x j ) − i = 1 ∑ N α i s . t . ∑ i = 1 N α i y i = 0
\kern-8ems.t. \quad \sum_{i=1}^N \alpha_iy_i=0
s . t . i = 1 ∑ N α i y i = 0 α i ⩾ 0 , i = 1 , 2 , . . . , N
\kern-1em \alpha_i \geqslant 0, i=1,2,...,N
α i ⩾ 0 , i = 1 , 2 , . . . , N w ∗ , b ∗ w^*,b^* w ∗ , b ∗
输入：线性可分训练集T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1, y_1),(x_2,y_2),...,(x_N,y_N)\} T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } x_i \in X=\R^n,y_i \in Y=\{-1,1\} x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } min α 1 2 ∑ i = 1 N ∑ j = 1 N α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 N α i
\min_\alpha \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i\alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i
α min 2 1 i = 1 ∑ N j = 1 ∑ N α i α j y i y j ( x i ⋅ x j ) − i = 1 ∑ N α i s . t . ∑ i = 1 N α i y i = 0
\kern-8ems.t. \quad \sum_{i=1}^N \alpha_iy_i=0
s . t . i = 1 ∑ N α i y i = 0 α i ⩾ 0 , i = 1 , 2 , . . . , N
\kern-1em \alpha_i \geqslant 0, i=1,2,...,N
α i ⩾ 0 , i = 1 , 2 , . . . , N α ∗ = ( α 1 ∗ , α 2 ∗ , . . . , α N ∗ ) T \alpha^*=(\alpha_1^*,\alpha_2^*,...,\alpha_N^*)^T α ∗ = ( α 1 ∗ , α 2 ∗ , . . . , α N ∗ ) T w ∗ = ∑ i = 1 N α i y i x i
w^*=\sum_{i=1}^N\alpha_iy_ix_i
w ∗ = i = 1 ∑ N α i y i x i α ∗ \alpha^* α ∗ α j ∗ > 0 \alpha_j^*>0 α j ∗ > 0 b ∗ = y i − ∑ i = 1 N α i ∗ y i ( x i ⋅ x j )
b^* = y_i-\sum_{i=1}^N\alpha_i^*y_i(x_i\cdot x_j)
b ∗ = y i − i = 1 ∑ N α i ∗ y i ( x i ⋅ x j ) w ∗ ⋅ x + b ∗ = 0
w^*\cdot x+b^*=0 w ∗ ⋅ x + b ∗ = 0 f ( x ) = s i g n ( w ∗ ⋅ x + b ∗ )
f(x)=sign(w^*\cdot x+b^*) f ( x ) = s i g n ( w ∗ ⋅ x + b ∗ )
将训练集中对应于α j ∗ > 0 \alpha_j^*>0 α j ∗ > 0 ( x i , y i ) (x_i,y_i) ( x i , y i )
以上就是硬间隔最大化算法。但是现实问题中，训练数据往往线性不可分，即在样本中出现噪声或特异点，需要更一般的学习算法。
线性可分问题的支持向量机学习方法，对线性不可分训练数据是不适用的，此时就需要修改硬间隔最大化，使其成为软间隔最大化。
现实问题中训练数据集往往存在特异点，如果将这些特异点除去后，剩下大部分的样本点组成的集合是线性可分的，我们就可以用以下方法解决问题。
我们对每个样本点( x i , y i ) (x_i,y_i) ( x i , y i ) ξ i ⩾ 0 \xi_i\geqslant0 ξ i ⩾ 0 y i ( w ⋅ x i + b ) ⩾ 1 − ξ i
y_i(w\cdot x_i +b)\geqslant1-\xi_i y i ( w ⋅ x i + b ) ⩾ 1 − ξ i 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ξ i
\frac12\lVert w \rVert^2+C\sum_{i=1}^N\xi_i
2 1 ∥ w ∥ 2 + C i = 1 ∑ N ξ i 1 2 ∥ w ∥ 2 \frac12 \lVert w \rVert^2 2 1 ∥ w ∥ 2 C大更易过拟合 ）
线性不可分的线性支持向量机的学习问题变成如下的凸二次规划问题（原始问题）：min 1 2 ∥ w ∥ 2 + C ∑ i = 1 N ξ i
\min \quad \frac12 \lVert w \rVert^2+C\sum_{i=1}^N\xi_i
min 2 1 ∥ w ∥ 2 + C i = 1 ∑ N ξ i s . t . y i ( w ⋅ x i + b ) ⩾ 1 − ξ i , i = 1 , 2 , . . . , N
\kern2ems.t. \quad y_i(w\cdot x_i+b)\geqslant1-\xi_i,\quad i=1,2,...,N
s . t . y i ( w ⋅ x i + b ) ⩾ 1 − ξ i , i = 1 , 2 , . . . , N ξ i ⩾ 0 , i = 1 , 2 , . . . , N
\kern-2em\xi_i \geqslant0, \quad i=1,2,...,N
ξ i ⩾ 0 , i = 1 , 2 , . . . , N
原始问题的对偶问题是min 1 2 ∑ i = 1 N ∑ j = 1 N α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 N α i
\kern 2em\min \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i \alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i
min 2 1 i = 1 ∑ N j = 1 ∑ N α i α j y i y j ( x i ⋅ x j ) − i = 1 ∑ N α i s . t . ∑ i = 1 N α i y i = 0
\kern -8ems.t. \quad \sum_{i=1}^N\alpha_i y_i = 0
s . t . i = 1 ∑ N α i y i = 0 0 ⩽ α i ⩽ C , i = 1 , 2 , . . . , N
\kern1em0\leqslant\alpha_i \leqslant C, \quad i=1,2,...,N
0 ⩽ α i ⩽ C , i = 1 , 2 , . . . , N 线性支持向量机学习算法 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , . . . , N x_i\in X=\R_n,y_i \in Y=\{-1,1\}, i=1,2,...,N x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , . . . , N C > 0 C>0 C > 0 min 1 2 ∑ i = 1 N ∑ j = 1 N α i α j y i y j ( x i ⋅ x j ) − ∑ i = 1 N α i
\kern 2em\min \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i \alpha_jy_iy_j(x_i\cdot x_j)-\sum_{i=1}^N\alpha_i
min 2 1 i = 1 ∑ N j = 1 ∑ N α i α j y i y j ( x i ⋅ x j ) − i = 1 ∑ N α i s . t . ∑ i = 1 N α i y i = 0
\kern -8ems.t. \quad \sum_{i=1}^N\alpha_i y_i = 0
s . t . i = 1 ∑ N α i y i = 0 0 ⩽ α i ⩽ C , i = 1 , 2 , . . . , N
\kern1em0\leqslant\alpha_i \leqslant C, \quad i=1,2,...,N
0 ⩽ α i ⩽ C , i = 1 , 2 , . . . , N α ∗ = ( α 1 ∗ , α 2 ∗ , . . . , α N ∗ ) T \alpha^*=(\alpha^*_1,\alpha^*_2,...,\alpha^*_N)^T α ∗ = ( α 1 ∗ , α 2 ∗ , . . . , α N ∗ ) T w ∗ = ∑ i = 1 N α i ∗ y i x i w^*=\sum_{i=1}^N\alpha_i^*y_ix_i w ∗ = ∑ i = 1 N α i ∗ y i x i α ∗ \alpha^* α ∗ α j ∗ \alpha^*_j α j ∗ 0 < α j ∗ < C 0<\alpha^*_j<C 0 < α j ∗ < C b j ∗ = y j − ∑ i = 1 N y i α j ∗ ( x i ⋅ x j )
b^*_j = y_j-\sum_{i=1}^Ny_i\alpha^*_j(x_i\cdot x_j)
b j ∗ = y j − i = 1 ∑ N y i α j ∗ ( x i ⋅ x j ) w ∗ ⋅ x + b = 0
w^*\cdot x+b=0
w ∗ ⋅ x + b = 0 f ( x ) = s i g n ( w ∗ ⋅ x + b )
f(x) = sign(w^*\cdot x +b)
f ( x ) = s i g n ( w ∗ ⋅ x + b )
在线性不可分的情况下，将对偶问题的解α ∗ \alpha^* α ∗ α j ∗ > 0 \alpha^*_j>0 α j ∗ > 0 ( x j , y j ) (x_j,y_j) ( x j , y j ) x i x_i x i ξ i ∥ w ∥ \frac {\xi_i} {\lVert w \rVert} ∥ w ∥ ξ i
软间隔的支持向量x i x_i x i α i < C \alpha_i<C α i < C ξ i = 0 \xi_i=0 ξ i = 0 x i x_i x i α ∗ = C , 0 < ξ i < 1 \alpha^*=C,0<\xi_i<1 α ∗ = C , 0 < ξ i < 1 x i x_i x i α ∗ = C , ξ i = 1 \alpha^*=C,\xi_i=1 α ∗ = C , ξ i = 1 x i x_i x i α ∗ = C , ξ i > 1 \alpha^*=C,\xi_i>1 α ∗ = C , ξ i > 1 x i x_i x i
有时分类问题是非线性的，这时就要使用非线性支持向量机，其主要特点是利用核技巧(kernel trick)。
用线性方法求解非线性分类问题分为两步：
使用一个变换将原空间的数据映射到新空间
在新空间用线性分类学习方法从训练数据中学习分类模型。
核函数的定义 X X X R n \R^n R n H \Eta H X X X H \Eta H ϕ ( x ) : X → H
\phi(x):X \rightarrow \Eta
ϕ ( x ) : X → H x , z ∈ X x,z\in X x , z ∈ X K ( x , z ) K(x,z) K ( x , z ) K ( x , z ) = ϕ ( x ) ⋅ ϕ ( z )
K(x,z)=\phi(x)\cdot \phi(z)
K ( x , z ) = ϕ ( x ) ⋅ ϕ ( z ) K ( x , z ) K(x,z) K ( x , z ) ϕ ( x ) \phi(x) ϕ ( x ) ϕ ( x ) ⋅ ϕ ( z ) \phi(x)\cdot \phi(z) ϕ ( x ) ⋅ ϕ ( z )
我们注意到在线性支持向量机的对偶问题中，无论是目标函数还是决策函数（分离超平面）都只涉及输入实例与实例之间的内积。对偶问题的目标函数中的内积x i ⋅ x j x_i\cdot x_j x i ⋅ x j K ( x i , y i ) = ϕ ( x i ) ⋅ ϕ ( x j ) K(x_i,y_i)=\phi(x_i)\cdot \phi(x_j) K ( x i , y i ) = ϕ ( x i ) ⋅ ϕ ( x j )
当映射函数是非线性函数时，学习到的含有核函数的支持向量机就是非线性分类模型。在实际应用中，往往依赖领域知识直接选择核函数，核函数选择的有效性需要通过实验验证。
常用核函数
线性核K ( x , z ) = x ⋅ z K(x,z)=x\cdot z K ( x , z ) = x ⋅ z
多项式核函数K ( x , z ) = ( x ⋅ z + 1 ) p K(x,z)=(x\cdot z+1)^p K ( x , z ) = ( x ⋅ z + 1 ) p f ( x ) = s i g n ( ∑ i = 1 N s α i ∗ y i ( x i ⋅ x + 1 ) p + b ∗ ) f(x)=sign(\sum_{i=1}^{N_s} \alpha^*_iy_i(x_i\cdot x+1)^p+b^*) f ( x ) = s i g n ( i = 1 ∑ N s α i ∗ y i ( x i ⋅ x + 1 ) p + b ∗ )
高斯核函数K ( x , z ) = e x p ( − ∥ x − z ∥ 2 2 σ 2 ) K(x,z)=exp(-\frac{\lVert x-z \rVert^2}{2\sigma^2}) K ( x , z ) = e x p ( − 2 σ 2 ∥ x − z ∥ 2 ) f ( x ) = s i g n ( ∑ i = 1 N s α i ∗ y i e x p ( − ∥ x − x i ∥ 2 2 σ 2 ) + b ∗ ) f(x)=sign(\sum_{i=1}^{N_s}\alpha^*_iy_iexp(-\frac{\lVert x-x_i \rVert^2}{2\sigma^2})+b^*) f ( x ) = s i g n ( i = 1 ∑ N s α i ∗ y i e x p ( − 2 σ 2 ∥ x − x i ∥ 2 ) + b ∗ )
指数核K ( x , z ) = e x p ( − ∥ x − z ∥ 2 σ 2 ) K(x,z)=exp(-\frac{\lVert x-z \rVert}{2\sigma^2}) K ( x , z ) = e x p ( − 2 σ 2 ∥ x − z ∥ )
sigmoid核K ( x , z ) = t a n h ( α x ⋅ z + c ) K(x,z)=tanh(\alpha x\cdot z+c) K ( x , z ) = t a n h ( α x ⋅ z + c )
当样本的特征很多时，特征的维数很高，这是往往样本线性可分，可考虑用线性核函数的SVM或LR（如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的）。
当样本的数量很多，但特征较少时，可以手动添加一些特征，使样本线性可分，再考虑用线性核函数的SVM或LR。
当样特征维度不高时，样本数量也不多时，考虑用高斯核函数（RBF核函数的一种，指数核函数和拉普拉斯核函数也属于RBF核函数）。
输入：训练数据集T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , . . . , N x_i\in X=\R_n,y_i \in Y=\{-1,1\}, i=1,2,...,N x i ∈ X = R n , y i ∈ Y = { − 1 , 1 } , i = 1 , 2 , . . . , N K ( x , z ) K(x,z) K ( x , z ) C C C min 1 2 ∑ i = 1 N ∑ j = 1 N α i α j y i y j K ( x i , x j ) − ∑ i = 1 N α i
\kern 2em\min \quad \frac12\sum_{i=1}^N\sum_{j=1}^N\alpha_i \alpha_jy_iy_jK(x_i,x_j)-\sum_{i=1}^N\alpha_i
min 2 1 i = 1 ∑ N j = 1 ∑ N α i α j y i y j K ( x i , x j ) − i = 1 ∑ N α i s . t . ∑ i = 1 N α i y i = 0
\kern -8ems.t. \quad \sum_{i=1}^N\alpha_i y_i = 0
s . t . i = 1 ∑ N α i y i = 0 0 ⩽ α i ⩽ C , i = 1 , 2 , . . . , N
\kern1em0\leqslant\alpha_i \leqslant C, \quad i=1,2,...,N
0 ⩽ α i ⩽ C , i = 1 , 2 , . . . , N α ∗ = ( α 1 ∗ , α 2 ∗ , . . . , α N ∗ ) T \alpha^*=(\alpha^*_1,\alpha^*_2,...,\alpha^*_N)^T α ∗ = ( α 1 ∗ , α 2 ∗ , . . . , α N ∗ ) T w ∗ = ∑ i = 1 N α i ∗ y i x i w^*=\sum_{i=1}^N\alpha_i^*y_ix_i w ∗ = ∑ i = 1 N α i ∗ y i x i α ∗ \alpha^* α ∗ α j ∗ \alpha^*_j α j ∗ 0 < α j ∗ < C 0<\alpha^*_j<C 0 < α j ∗ < C b j ∗ = y j − ∑ i = 1 N α j ∗ y i K ( x i , x j )
b^*_j = y_j-\sum_{i=1}^N\alpha^*_jy_iK(x_i,x_j)
b j ∗ = y j − i = 1 ∑ N α j ∗ y i K ( x i , x j ) f ( x ) = s i g n ( ∑ i = 1 N α i ∗ y i K ( x ⋅ x i ) + b ∗ )
f(x)=sign(\sum_{i=1}^N\alpha^*_iy_iK(x\cdot x_i)+b^*)
f ( x ) = s i g n ( i = 1 ∑ N α i ∗ y i K ( x ⋅ x i ) + b ∗ )
待补充。。。
问题1 在空间上线性可分的两类点，分别向SVM分类的超平面上做投影，这些点在超平面上的投影仍然是线性可分的吗？
问题2 是否存在一组参数使SVM训练误差为0？
仅考虑不带松弛变量的情况f ( x ) = s i g n ( ∑ i = 1 N α i ∗ y i K ( x ⋅ x i ) + b ∗ ) f(x)=sign(\sum_{i=1}^N\alpha^*_iy_iK(x\cdot x_i)+b^*) f ( x ) = s i g n ( i = 1 ∑ N α i ∗ y i K ( x ⋅ x i ) + b ∗ ) α i = 1 \alpha_i=1 α i = 1 b = 0 b=0 b = 0 f ( x j ) = ∑ i = 1 N y i e x p ( − ∥ x j − x i ∥ 2 2 σ 2 ) f(x_j)=\sum_{i=1}^Ny_iexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2}) f ( x j ) = i = 1 ∑ N y i e x p ( − 2 σ 2 ∥ x j − x i ∥ 2 ) f ( x j ) − y j = ∑ i = 1 , i ̸ = j N y i e x p ( − ∥ x j − x i ∥ 2 2 σ 2 )
f(x_j)-y_j=\sum_{i=1,i\not=j}^Ny_iexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2})
f ( x j ) − y j = i = 1 , i ̸ = j ∑ N y i e x p ( − 2 σ 2 ∥ x j − x i ∥ 2 ) ∥ f ( x j ) − y j ∥ ⩽ ∑ i = 1 , i ̸ = j N e x p ( − ∥ x j − x i ∥ 2 2 σ 2 ) \lVert f(x_j)-y_j \rVert\leqslant \sum_{i=1,i\not=j}^Nexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2}) ∥ f ( x j ) − y j ∥ ⩽ i = 1 , i ̸ = j ∑ N e x p ( − 2 σ 2 ∥ x j − x i ∥ 2 ) ∥ x j − x i ∥ ⩾ ϵ \lVert x_j - x_i \rVert \geqslant\epsilon ∥ x j − x i ∥ ⩾ ϵ σ = ϵ l o g m \sigma=\frac{\epsilon}{\sqrt{logm}} σ = l o g m ϵ ∥ f ( x j ) − y j ∥ ⩽ ∑ i = 1 , i ̸ = j N e x p ( − ∥ x j − x i ∥ 2 2 σ 2 ) ⩽ ∑ i = 1. i ̸ = j m e − l o g m = m − 1 m < 1
\lVert f(x_j)-y_j \rVert\leqslant \sum_{i=1,i\not=j}^Nexp(-\frac{\lVert x_j-x_i \rVert^2}{2\sigma^2})\leqslant\sum_{i=1.i\not=j}^me^{-logm}=\frac {m-1}m<1
∥ f ( x j ) − y j ∥ ⩽ i = 1 , i ̸ = j ∑ N e x p ( − 2 σ 2 ∥ x j − x i ∥ 2 ) ⩽ i = 1 . i ̸ = j ∑ m e − l o g m = m m − 1 < 1 x j x_j x j f ( x j ) f(x_j) f ( x j ) y j y_j y j
问题3 训练误差为0的SVM分类器一定存在吗？
问题2找到了一组参数使得SVM分类器的训练误差为0。本问旨在找到一组参数满足训练误差为0，且是SVM模型的一个解。y j = 1 y_j=1 y j = 1 f ( x j ) > 0 f(x_j)>0 f ( x j ) > 0 y j = − 1 时 y_j=-1时 y j = − 1 时 f ( x ) < 0 f(x)<0 f ( x ) < 0 y j f ( x j ) ⩾ 1 y_jf(x_j)\geqslant1 y j f ( x j ) ⩾ 1 y i f ( x i ) y_if(x_i) y i f ( x i ) y j f ( x j ) = y j ∑ i = 1 m α i y i K ( x i , x j ) = α j y j y j K ( x j , x j ) + ∑ i = 1 , i ̸ = j m α i y i y j K ( x i , x j ) y_jf(x_j)=y_j\sum_{i=1}^m\alpha_iy_iK(x_i,x_j)=\alpha_jy_jy_jK(x_j,x_j)+\sum_{i=1,i\not=j}^m\alpha_iy_iy_jK(x_i,x_j) y j f ( x j ) = y j i = 1 ∑ m α i y i K ( x i , x j ) = α j y j y j K ( x j , x j ) + i = 1 , i ̸ = j ∑ m α i y i y j K ( x i , x j ) = α j + ∑ i = 1 , i ̸ = j m α i y i y j K ( x i , x j ) \kern8em=\alpha_j+\sum_{i=1,i\not=j}^m\alpha_iy_iy_jK(x_i,x_j) = α j + i = 1 , i ̸ = j ∑ m α i y i y j K ( x i , x j ) α \alpha α σ \sigma σ α j \alpha_j α j y j f ( x j ) > 1 y_jf(x_j)>1 y j f ( x j ) > 1
问题4 加入松弛变量的SVM的训练误差可以为0吗？
使用SMO算法训练的线性分类器并不一定能得到训练误差为0的模型。这是由于我们的优化目标改变了，并不再是使训练误差最小。考虑带松弛变量的SVM模型优化的目标函数所包含的两项：C ∑ i = 1 m ξ i C\sum_{i=1}^m\xi_i C ∑ i = 1 m ξ i 1 2 ∥ w ∥ 2 \frac12\lVert w\rVert^2 2 1 ∥ w ∥ 2
支持向量机原理篇 常用核函数 机器学习实战 机器学习问题与解答系列