《机器学习技法》学习笔记01——线性SVM

http://blog.csdn.net/u011239443/article/details/76572743

最大间距分离超平面

胖的超平面具有更好的错误容忍性。

我们目标就是找到能一个超平面，到各个点xn到w最小的距离尽可能的大。而且w需要能正确划分，即 label yn 需要和计算出来的结果wTxn同号。

标准最大间距问题

我们把wTxn拆分：

得到wTx+b

• 计算x到超平面wTx′+b=0的距离：

x’和x”是超平面上的任意两个点：

所以，w的超平面的法向量，则得出距离：

由于：

所以我们可以把距离写成：

于是问题变成了：

由于：

超平面不会因系数而改变，所以我们可以对wTx+b进行任意放缩，最终使得：

问题就变成了：

yn(wTxn+b)最小也要等于1，所以条件yn(wTxn+b)>0可以去掉，问题变成了：

我们将条件放大成：

我们只要证明，不可能所以的yn(wTxn+b)都大于1，那么放大后的条件就和原来的条件等价了。

• 证明：
  假设yn(wTxn+b)都大于1，最优解(b,w)使得yn(wTxn+b)>=c>1。
  则存在(b2,w2)=(b/c,w/c)使得yn(wT2xn+b2)>=1。
  但是1/||w2||>1/||w||，所以(b,w)不是最优解，即假设不成立。

再经过一些变换，我们的问题变成了：