SVM之软间隔_机器学习

前言

    硬间隔，就是存在所有样本必须划分正确的约束条件，即所有样本必须严格满足约束条件：
    

但样本集中总是存在一些噪音点或者离群点，如果强制要求所有的样本点都满足硬间隔，可能会导致出现过拟合的问题，甚至会使决策边界发生变化，为了避免这个问题的发生，所以在训练过程的模型中，允许部分样本（离群点或者噪音点）不必满足该约束。当然在最大化间隔的同时，不满足约束的样本应尽可能少

   为了 解决上面问题，引入了软间隔

---

目录：

1.       线性支持向量机
2.       对偶算法求解问题
3.        KKT条件
4.        支持向量

 

一   线性支持向量机

      当部分样本点不满足函数间隔大于等于1的约束条件，需要引入松弛变量 

       满足约束条件：

       

 

     目标函数边变为：

      

---

二  学习对偶算法

     .....................1

    其中 

    首先对 求导，求极小值得到：

    

    

    

 带入1, 得到

  

再求的极大，即得到对偶问题：

    

  约束条件st：

 

 

 

 

 

利用等式消去,

---

---

  三 KKT 条件

     

     

     原始问题是凸二次规划问题，解满足KKT条件:

     

   

    

    

    

   

   

   

     

得到分离超平面：

   

分类决策函数

  

      

  四 支持向量

     

 

          4.1 

                

                 落在间隔边界上

         

         4.2   

                      4.2.1  若        则 ,， 分类正确，落在间隔与分离超平面间

                      4.2.2  若 ,则 点落在分离超平面上

                      4.2.3   若 ， 则分类错误

 

参考文献：

   《  统计学习方法》