手撕SVM——硬间隔

原理

上面这幅图，存在两类线性可分的数据，在两个数据集之间存在无数个可进行分割的超平面，而SVM的目的是找到几何间隔最大的超平面，且这个超平面是唯一存在的。如上图的超平面W^TX + b = 0，就是上图数据集的几何间隔最大超平面。

推导过程

假设给定一个特征空间上的训练数据集T = {(x₁,y₁),(x₂,y₂),…(x_n,y_n)}。
其中x_i$\in$∈Rⁿ，y_i$\in$∈{-1，+1}。
设超平面为$\omega$ω^Tx + b = 0 ，则y_i = $\omega$ω$\times$×x_i+ b
$y_i =\begin{cases} +1 &y_i > 0 \\ -1 & y_i < 0 \\ \end{cases}$yi​={+1−1​yi​>0yi​<0​

所有样本点到超平面的距离叫做几何间隔$\gamma$γ_i，令最小的$\gamma$γ_i = $\gamma$γ。
$\gamma$γ_i = $\frac{|ω×x_i+b |}{ ||ω|| }$∣∣ω∣∣∣ω×xi​+b∣​ = $\frac{y_i(ω×x_i+b )}{ ||ω|| }$∣∣ω∣∣yi​(ω×xi​+b)​

$\gamma$γ = $\min_{i = 1,2...n}$mini=1,2...n​{$\gamma$γ_i} = $\min_{x_i}$minxi​​ $\frac{y_i(ω×x_i+b )}{ ||ω|| }$∣∣ω∣∣yi​(ω×xi​+b)​
所以可得：
$\gamma$γ_i = $\frac{y_i(w×x_i+b )}{ ||ω|| }$∣∣ω∣∣yi​(w×xi​+b)​ $\geq$≥ $\gamma$γ $\Rightarrow$⇒ $\frac{y_i(w×x_i+b )}{ ||ω||γ }$∣∣ω∣∣γyi​(w×xi​+b)​ $\geq$≥ 1
令ω = $\frac{ ω }{ ||ω||γ }$∣∣ω∣∣γω​，可得
y_i(ω$\times$×x_i+b ) $\geq$≥ 1

根据以上定义可得最初的约束条件：
$原始约束=\begin{cases} \max_{ω,b} \gamma \\ y_i(ω×x_i+b )≥1 \end{cases}$原始约束={maxω,b​γyi​(ω×xi​+b)≥1​

又因为最大化$\gamma$γ，相当于要最大化$\frac{ 1 }{ ||ω|| }$∣∣ω∣∣1​，即最小化$\frac{ 1 }{2 }$21​||ω||²。此时约束条件进行下面的改变：
$不等式约束=\begin{cases} min_{ω,b} \frac{ 1 }{2 }||ω||^2 \\ y_i(ω×x_i+b )≥1 \end{cases}\tag{1}$不等式约束={minω,b​21​∣∣ω∣∣2yi​(ω×xi​+b)≥1​(1)

根据式子（1），通过拉格朗日乘子法可得：

L(w,b,$\alpha$α) = $\frac{ 1 }{2 }$21​||ω||² - $\sum_{i=0}^n$∑i=0n​$\alpha$α_i( y_i (ω$\times$×x_i + b ) -1 )
因为要满足KKT条件，所以y_i (ω$\times$×x_i + b ) -1 $\geq$≥ 0、$\alpha$α_i( y_i (ω$\times$×x_i + b ) -1 ) = 0、其中$\alpha$α_i为拉格朗日乘子，且$\alpha$α_i ≥ 0.
所以约束条件变为：
$对偶问题=\begin{cases} \min_{ω,b} \max_{\alpha} L(w,b,\alpha) = \frac{ 1 }{2 }||ω||^2 -\sum_{i=0}^n\alpha_i（y_i（ω \times x_i + b）- 1）\\ \alpha_i ≥ 0.\\ y_i（ω \times x_i + b）≥ 0\\ \alpha_i( y_i (ω \times x_i + b ) -1 ) = 0 \end{cases}\tag{2}$对偶问题=⎩⎪⎪⎪⎨⎪⎪⎪⎧​minω,b​maxα​L(w,b,α)=21​∣∣ω∣∣2−∑i=0n​αi​（yi​（ω×xi​+b）−1）αi​≥0.yi​（ω×xi​+b）≥0αi​(yi​(ω×xi​+b)−1)=0​(2)

因为满足KKT条件的凸二次规划问题，所以满足强对偶关系，即
$\min_{ω,b} \max_{\alpha} L(ω,b,\alpha) = \max_{\alpha} \min_{ω,b} L(ω,b,\alpha) \tag{3}$ω,bmin​αmax​L(ω,b,α)=αmax​ω,bmin​L(ω,b,α)(3)

下面对L的ω求偏导：
$\frac{\partial L}{\partial ω} = ω - \sum_{i=0}^n \alpha_i y_i x_i = 0 \tag{4}$∂ω∂L​=ω−i=0∑n​αi​yi​xi​=0(4)
下面再对L的b求偏导：
$\frac{\partial L}{\partial b} = -( \sum_{i=0}^n \alpha_i y_i) = 0 \tag{5}$∂b∂L​=−(i=0∑n​αi​yi​)=0(5)

将公式（4)（5）带入 $min_{ω,b}$minω,b​ L(ω,b,$\alpha$α)可得：

$min_{ω,b}$minω,b​ L(ω,b,$\alpha$α) = $\frac{ 1 }{2 }$21​ $\sum_{i=0}^n$∑i=0n​ $\sum_{j=0}^n$∑j=0n​ $\alpha$α_i$\alpha$α_j y_i y_j x_i^Tx_j + $\sum_{i=0}^n$∑i=0n​ $\alpha$α_i - $\sum_{i=0}^n$∑i=0n​ $\sum_{j=0}^n$∑j=0n​ $\alpha$α_i$\alpha$α_j y_i y_j x_i^Tx_j = -$\frac{ 1 }{2 }$21​ $\sum_{i=0}^n$∑i=0n​ $\sum_{j=0}^n$∑j=0n​ $\alpha$α_i$\alpha$α_j y_i y_j x_i^Tx_j + $\sum_{i=0}^n$∑i=0n​ $\alpha$α_i
即：
$min_{ω,b} L(ω,b,\alpha) = -\frac{ 1 }{2 } \sum_{i=0}^n \sum_{j=0}^n \alpha_i \alpha_j y_i y_j x_i^Tx_j + \sum_{i=0}^n\alpha_i \tag{6}$minω,b​L(ω,b,α)=−21​i=0∑n​j=0∑n​αi​αj​yi​yj​xiT​xj​+i=0∑n​αi​(6)

由式（6）可知：
$\max_{\alpha}$maxα​ $min_{ω,b} L(ω,b,\alpha)$minω,b​L(ω,b,α) = $\max_{\alpha}$maxα​ (-$\frac{ 1 }{2 }$21​ $\sum_{i=0}^n$∑i=0n​ $\sum_{j=0}^n$∑j=0n​ $\alpha$α_i$\alpha$α_j y_i y_j x_i^Tx_j + $\sum_{i=0}^n$∑i=0n​ $\alpha$α_i )
通过添加负号，可将$\max_{\alpha}$maxα​转为$\min_{\alpha}$minα​，即：
$\min_{\alpha}$minα​ P($\alpha$α) = $\frac{ 1 }{2 }$21​ $\sum_{i=0}^n$∑i=0n​ $\sum_{j=0}^n$∑j=0n​ $\alpha$α_i$\alpha$α_j y_i y_j x_i^Tx_j - $\sum_{i=0}^n$∑i=0n​ $\alpha$α_i

然后通过序列最小优化（SMO）算法可求出使得P最小的$\alpha$α，记为$\alpha$α*。（这里先省略推导过程，以后再写）

由式（4）可得最优解
$ω* = \sum_{i=0}^n \alpha^*_i y_i x_i \tag{7}$ω∗=i=0∑n​αi∗​yi​xi​(7)

$\exists$∃(x_k,y_k) ，使得 1 - y_k(ω^Tx_k + b) = 0,
则
$b* = y_k - ω*^Tx_k = y_k - \sum_{i=0}^n \alpha^*_i y_i x_i^Tx_k \tag{8}$b∗=yk​−ω∗Txk​=yk​−i=0∑n​αi∗​yi​xiT​xk​(8)

所以，最后的超平面是ω*^T x + b* = 0