一、SVM基本原理：
支持向量机（support vector machines）是一个二分类的分类模型（或者叫做分类器）。如图：
支持向量机（support vector machines）是一个二分类的分类模型（或者叫做分类器）。如图：
它分类的思想是，给定给一个包含正例和反例的样本集合，svm的目的是寻找一个超平面来对样本根据正例和反例进行分割。
在样本空间中，划分超平面可通过如下线性方程来描述：
SVM的核心思想是尽最大努力使分开的两个类有最大间隔，这样才能使得分割有更高的可信度。
如图所示：
在这两个超平面上的样本点也就是理论上离分隔超平面最近的点，是它们的存在决定了H1和H2的位置，支撑起了分界线，它们就是所谓的支持向量，这就是支持向量机的由来
有了这两个超平面就可以顺理成章的定义上面提到的间隔（margin）了
二维情况下 ax+by=c1和ax+by=c两条平行线的距离公式为：
可以推出H1和H2两个超平面的间隔为2/||w||，即现在的目的是要最大化这个间隔。
所以support vector machine又叫Maximum margin hyper plane classifier
等价于最小化||w||
为了之后的求导和计算方便，进一步等价于最小化
两个式子综合一下有：
这就是目标函数的约束条件。现在这个问题就变成了一个最优化问题：
对偶优化问题
对于上述的最优化问题先需要构造拉格朗日函数：
分别对w和b求导得到：
然后再代入拉格朗日函数后得到原问题的对偶问题
现在已经完成了对这个问题的建模过程。
当要对一个数据点分类是，只需要把待分类的数据点带入g(x)中，把结果和正负号对比。又由上面计算得到的w，带入g(x)得到：
但是上述公式只能算线性可分的点，对于线性不可分的情况需要把相应的点投影到核函数：
设映射函数为Φ(•)，则映射后的空间分类函数变成
但是，如果拿到低维数据直接映射到高维的话，维度的数目会呈现爆炸性增长。
于噪音的存在，有可能有偏离正常位置很远的数据点存在，甚至类别1出现杂了类别2的区域中这样的异常值叫outliers. 为处理这种情况，SVM允许数据点在一定程度上偏离超平面，约束就变成了:
其中
，称为松弛变量（slack variable）
还需要一个惩罚因子C（cost），它代表了对离群点带来的损失的重视程度，它的值越大，对目标函数的损失越大，意味着你非常不愿意放弃这些点。
它是由使用者指定的一个值（libsvm中的参数C），是参数调优的重点所在。
原来的优化问题就变成了下面这样:
同样用Lagrange方法得到对偶问题：
这才是一个可以处理线性和非线性情况并能容忍噪音和outlier的SVM！
二、算法设计过程：
用PMO算法来得到alpha和b这两个参数，输入为特征数据，标签以及惩戒因子C、松弛因子toler。
先给alpha 和 b初始值，
当迭代次数小于最大的迭代次数，
计算误差，若误差找过容忍范围：
随机选择另一个alpha数据
同时优化这两个数据
并计算相应b值，需要b在0和C之间
如果两个向量不能被优化则退出内循环，
如果所有向量都没法优化，增加迭代次数，继续下一个循环
三、调参
主要是cost和gamma以及对映射核函数的选择，用网格搜索法gridsearchCV调参。
最后调用best_estimoter来得到结果