算法强化 —— SVM(三)

软间隔

软间隔的提出是解决什么问题的

在实际的应用中，完全线性可分的样本是很少的，如果遇到了不能完全线性可分的样本
我们应该怎么办，所以提出了软间隔，允许个别样本点出现在间隔带里面

这样就允许了部分样本点不满足约束条件
$y_i(wx_i+b) \geq 1$yi​(wxi​+b)≥1
为了度量这个间隔"软"到何种程度，我们针对每个样本(x_i,y_i),引入一个松弛变量$\xi_i$ξi​,令$\xi_i \geq 0$ξi​≥0,且$y_i(wx_i+b) \geq 1 - \xi_i$yi​(wxi​+b)≥1−ξi​

软间隔后的线性SVM的最优化问题是是什么

优化目标

从原来的线性可分的优化目标
$min_{w,b} \frac{ {\|w\|}^2}{2}$minw,b​2∥w∥2​
$s.t. = 1-y_i(wx_i+b) \leq 0,i = 1,2,3,....,m$s.t.=1−yi​(wxi​+b)≤0,i=1,2,3,....,m
变成了：
$\begin{aligned} &\min _{w, b, \xi} \frac{1}{2}\|w\|^{2}+C \sum_{i=1}^{m} \xi_{i}\\ &\text { s.t. } \quad y_{i}\left(w x_{i}+b\right) \geqslant 1-\xi_{i}, \quad i=1,2, \ldots, m ; \xi_{i} \geqslant 0, \quad i=1,2, \ldots, m \end{aligned}$​w,b,ξmin​21​∥w∥2+Ci=1∑m​ξi​ s.t. yi​(wxi​+b)⩾1−ξi​,i=1,2,…,m;ξi​⩾0,i=1,2,…,m​
其中C是一个大于0的常数，若C为无穷大，则$\xi_i$ξi​必然无穷小，否则将无法最小化主问题，如此一来线性SVM就又变成了线性可分SVM。
当C为有限值的时候，才能允许部分样本不遵守约束条件$1-y_i(wx_i+b) \leq 0$1−yi​(wxi​+b)≤0
我们将优化目标整理成和线性可分的形式一样，即为：
$\begin{aligned} &\min _{w, b, \xi} \frac{1}{2}\|w\|^{2}+C \sum_{i=1}^{m} \xi_{i}\\ &\text { s.t. } \quad 1-\xi_{i}- y_{i}\left(w x_{i}+b\right) \leqslant 0, \quad i=1,2, \ldots, m ; -\xi_{i} \leqslant 0, \quad i=1,2, \ldots, m \end{aligned}$​w,b,ξmin​21​∥w∥2+Ci=1∑m​ξi​ s.t. 1−ξi​−yi​(wxi​+b)⩽0,i=1,2,…,m;−ξi​⩽0,i=1,2,…,m​

使用对偶算法求解上面的最优化问题

步骤1：构造拉格朗日函数

$\begin{aligned} &L(w, b, \xi, \lambda, \mu)=\frac{1}{2}\|w\|^{2}+C \sum_{i=1}^{m} \xi_{i}+\sum_{i=1}^{m} \lambda_{i}\left[1-\xi_{i}-y_{i}\left(w x_{i}+b\right)\right]+\sum_{i=1}^{m}\left(-\mu_{i} \xi_{i}\right)\\ &\lambda_{i} \geqslant 0, \mu_{i} \geqslant 0 \end{aligned}$​L(w,b,ξ,λ,μ)=21​∥w∥2+Ci=1∑m​ξi​+i=1∑m​λi​[1−ξi​−yi​(wxi​+b)]+i=1∑m​(−μi​ξi​)λi​⩾0,μi​⩾0​
其中$\lambda_i$λi​和$\mu_i$μi​是拉格朗日乘子，而w、b和$\xi_i$ξi​是主问题参数
根据主问题的对偶性，主问题的对偶问题是
$max_{\lambda,\mu} min_{w,b,\xi} L(w,b,\xi,\lambda,\mu)$maxλ,μ​minw,b,ξ​L(w,b,ξ,λ,μ)

步骤2 最小化拉格朗日函数

首先对w、b和$\xi$ξ最小化$ L(w,b,\xi,\lambda,\mu)$————分别对w、b和$————分别对w、b和\xi_i$求偏导，然后令导数为0，得出如下关系
$\begin{aligned} &w=\sum_{i=1}^{m} \lambda_{i} y_{i} x_{i}\\ &0=\sum_{i=1}^{m} \lambda_{i} y_{i}\\ &C=\lambda_{i}+\mu_{i} \end{aligned}$​w=i=1∑m​λi​yi​xi​0=i=1∑m​λi​yi​C=λi​+μi​​
将这些关系带入线性SVM主问题的拉格朗日函数，得到
$\min _{w, b, \xi} L(w, b, \xi, \lambda, \mu)=\sum_{i=1}^{m} \lambda_{i}-\frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{m} \lambda_{i} \lambda_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)$w,b,ξmin​L(w,b,ξ,λ,μ)=i=1∑m​λi​−21​i=1∑m​j=1∑m​λi​λj​yi​yj​(xi​⋅xj​)

步骤3 求$\min _{w, b} L(w, b, \xi, \lambda, \mu)$minw,b​L(w,b,ξ,λ,μ)对$\lambda$λ的最大

因为上面最小化的结果中只有$\lambda$λ而没有$\mu$μ,所以现在只需要最大化$\lambda $就好
$\begin{aligned} &\max _{\lambda, \mu} \min _{w, b, z} L(w, b, \xi, \lambda, \mu)=\max _{\lambda}\left(\sum_{i=1}^{m} \lambda_{i}-\frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{m} \lambda_{i} \lambda_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)\right)\\ &\text { s.t. } \sum_{i=1}^{m} \lambda_{i} y_{i}=0 ; \quad C-\lambda_{i}-\mu_{i}=0 ; \quad \lambda_{i} \geqslant 0 ; \quad \mu_{i} \geqslant 0 ; \quad i=1,2, \ldots, m \end{aligned}$​λ,μmax​w,b,zmin​L(w,b,ξ,λ,μ)=λmax​(i=1∑m​λi​−21​i=1∑m​j=1∑m​λi​λj​yi​yj​(xi​⋅xj​)) s.t. i=1∑m​λi​yi​=0;C−λi​−μi​=0;λi​⩾0;μi​⩾0;i=1,2,…,m​

步骤4 使用SMO算法求解

我们同样可以和之前一样，将最大化问题转化为最小化问题
$\begin{array}{c} \max _{\lambda}\left(\sum_{i=1}^{m} \lambda_{i}-\frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{m} \lambda_{i} \lambda_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)\right)=\min \left(\frac{1}{2} \sum_{i=1}^{m} \sum_{j=1}^{m} \lambda_{i} \lambda_{j} y_{i} y_{j}\left(x_{i} \cdot x_{j}\right)-\sum_{i=1}^{m} \lambda_{i}\right) \\ \text { s.t. } \sum_{i=1}^{m} \lambda_{i} y_{i}=0 ; \quad 0 \leqslant \lambda_{i} \leqslant C ; \quad i=1,2, \ldots, m \end{array}$maxλ​(∑i=1m​λi​−21​∑i=1m​∑j=1m​λi​λj​yi​yj​(xi​⋅xj​))=min(21​∑i=1m​∑j=1m​λi​λj​yi​yj​(xi​⋅xj​)−∑i=1m​λi​) s.t. ∑i=1m​λi​yi​=0;0⩽λi​⩽C;i=1,2,…,m​
然后我们可以看到，实际上差别只在约束条件熵，所以我们同样可以使用SMO算法进行求解出拉格朗日乘子$\lambda^*$λ∗

步骤5 求解w 和b

由$w = \sum_{i = 1}^m \lambda_i y_i x_i$w=∑i=1m​λi​yi​xi​求出w
因为最终要求得的超平面满足wx+b = 0,这一点是和线性可分SVM的超平面一样的，因此求解b的过程也可以照搬：
$b=\frac{1}{| S |} \sum_{s \in S}\left(y_{s}-w x_{s}\right)$b=∣S∣1​s∈S∑​(ys​−wxs​)
其中S是支持向量的集合

在这里会存在一个问题，就是到底那部分是在间隔中的样本点，是不是支撑向量
我们可以看到$w = \sum_{i = 1}^m \lambda_i y_i x_i$w=∑i=1m​λi​yi​xi​,因此，对于所有的$\lambda_i > 0$λi​>0的点都能够影响到我们的超平面，因此都是支撑向量