【公式推导】2.SVM

1.样本集

$D = {(x_1,y_1),(x_2,y_2),(x_3,y_3),(x_4,y_4),...,(x_m,y_m)}$D=(x1​,y1​),(x2​,y2​),(x3​,y3​),(x4​,y4​),...,(xm​,ym​)

2.目标函数

寻找最优超平面将不同类别的样本分开。
$w^Tx + b = 0$wTx+b=0
$w$w 为法向量，$b$b为位移项。

如果超平面将样本成功分类，则下式成立：
$\{\begin{array}{l} w^Tx_i+b\geqslant+1, y_i=+1 \\ w^Tx_i+b\geqslant-1, y_i=-1 \end{array}${wTxi​+b⩾+1,yi​=+1wTxi​+b⩾−1,yi​=−1​
使等号成立的样本点成为支持向量。

任意点x到超平面的距离：
$\gamma = \frac{|w^Tx + b|}{||w||} \ge \frac{1}{||w||}$γ=∣∣w∣∣∣wTx+b∣​≥∣∣w∣∣1​
整个margin的宽度：
$\gamma = \frac{2}{||w||}$γ=∣∣w∣∣2​
得到基本的目标函数
$\arg\,\max_{w, b}\frac{2}{||w||}$argw,bmax​∣∣w∣∣2​

$s.t.\; y_i(w^Tx_i + b) \ge 1,\;i = 1, 2, ..., N$s.t.yi​(wTxi​+b)≥1,i=1,2,...,N

对目标函数变化
$\arg\,\min_{w, b}\frac{1}{2}||w||^2$argw,bmin​21​∣∣w∣∣2

$s.t.\; y_i(w^Tx_i + b) \ge 1,\;i = 1, 2, ..., N$s.t.yi​(wTxi​+b)≥1,i=1,2,...,N

引入拉格朗日乘子
$L(w, b, \alpha) = \frac{1}{2}||w||^2 + \sum_i \alpha_i[1 - y_i(w^Tx_i + b)]$L(w,b,α)=21​∣∣w∣∣2+i∑​αi​[1−yi​(wTxi​+b)]

对 $w$w ，$b$b 求导
$\frac{\partial{L}}{\partial{w}} = w - \sum_i \alpha_iy_ix_i = 0 \; \Rightarrow w = \sum_i \alpha_iy_ix_i$∂w∂L​=w−i∑​αi​yi​xi​=0⇒w=i∑​αi​yi​xi​

$\frac{\partial{L}}{\partial{b}} = \sum_i \alpha_iy_i = 0$∂b∂L​=i∑​αi​yi​=0

将w，b带入

至此目标函数完成：
$\arg\,\max_\alpha (\sum_i\alpha_i -\frac{1}{2}\sum_i\sum_j\alpha_i\alpha_jy_iy_jx_i^Tx_j)$argαmax​(i∑​αi​−21​i∑​j∑​αi​αj​yi​yj​xiT​xj​)

$s.t. \; \sum_i \alpha_iy_i = 0$s.t.i∑​αi​yi​=0

$\alpha_i\ge 0, i = 1,2,...,N$αi​≥0,i=1,2,...,N

$\alpha_i\ge 0, i = 1,2,...,N$αi​≥0,i=1,2,...,N

求出结果
$w^* = \sum_i \alpha_i^*y_ix_i$w∗=i∑​αi∗​yi​xi​