机器学习【 SVM支持向量机】公式推导计算+详细过程（入门必备）

SVM支持向量机又称最大间距分类器。可以解决“线性可分”和“线性不可分”问题
SVM的“三宝”：最大间距、对偶性和核函数。
算法推导：
入上图所示
图中红线为决策边界。
两条平行黑线共同组成最大间距。
*“支撑向量”*为两条平行黑线上的点。

决策边界公式
$\theta^Tx + b = 0$

**“支撑向量”到决策边界的距离公式 **
$d = \frac{|y_{i}|}{||\theta||}$

假设决策边界$ \theta^Tx + b = 0 $能将样本正确分类，那么：

$\begin{cases} \theta^Tx + b >= +1 \quad y_{i} = +1 \\ \theta^Tx + b <= -1 \quad y_{i} = -1 \\ \end{cases}$

两个不同类的支持向量到决策边界的距离之和为：

$2d = \frac{2}{||\theta||}$

所以我们最大化间距的表达式可以写成：

$\begin{cases} max \quad \frac{2}{||\theta||} \\ s.t. \quad y_{i}(\theta^Tx + b) >= 1 \\ \end{cases}$

极值问题，求导数。最大化$ \frac{1}{||\theta||} $,相当于让分母$ ||\theta|| $最小化，所以：

$\begin{cases} min \quad \frac{1}{2} ||\theta||^{2} \\ s.t. \quad y_{i}(\theta^Tx + b) >= 1 \\ \end{cases}$

对偶问题

** 对上式使用拉格朗日乘子法，得到“对偶问题”，公式为： **
$L(\theta, b, \alpha) = \frac{1}{2} ||\theta||^{2} + \sum_{i=1} ^ m \alpha_i (1 - y_{i}(\theta^Tx_i + b) （1）$

对 $\theta$ 求偏导
$\theta = \sum_{i=1} ^ m \alpha_iy_ix_i \quad （2）$

对b求偏导

$0 = \sum_{i=1} ^ m \alpha_iy_i \quad$

将（2）式带入到（1）式

$\begin{cases} max \quad \sum_{i=1} ^ m \alpha_i - \frac{1}{2} \sum_{i=1} ^ m \sum_{j=1} ^ m \alpha_i \alpha_j y_i y_j x^{T}_i x_j \\ s.t. \quad \sum_{i=1} ^ m \alpha_iy_i = 0 \\ \end{cases}$

核函数

线性核函数
$k(x_i, x_j) = x^{T}_i x_j$

多项式核函数
$k(x_i, x_j) = （x^{T}_i x_j）^ d , d为次数$

高斯核函数
$k(x_i, x_j) = exp(-\frac{||x_i - x_j||^{2}}{2\sigma^{2}})$

0=∑i=1mαiyi 0 = \sum_{i=1} ^ m \alpha_iy_i \quad 0=i=1∑m​αi​yi​

$0 = \sum_{i=1} ^ m \alpha_iy_i \quad$