这篇文章主要记述了我在支持向量机时学到的各种知识，也希望对学习支持向量机的各位读者有所帮助。
（一）简述
首先考虑最简单的情况：在二维平面
上有一组点
他们分别属于类别1和类别2，我们试图寻找一条直线，使得两个类别的点分别落到直线的两边，这就是支持向量机的基本思想。我们约定：能够使得所有点到这条直线的距离的最小值最大的直线就是最优的划分直线，我们称之为超平面，而得出最短距离的这些点称作支持向量。
上面的要求，我们可以用另一种形式写作：
这就是我们的目标函数。
（二）目标函数的推导
(1) 对二维平面上的直线
w=(w1,w2)
是直线 l 的法线，对于点
若
则点P在法线正方向上，小于0时则在法线负方向上，等于0则在法线上。
(2) 使用上一条的符号，点P到直线 l 的距离可以表示为：
如果我们令： （假设类别1在法线正方向）
那么对于
如果值为正，则说明直线的划分结果与数据点的类别一致，反之则不一致。
利用上面的结论，我们可以把的目标函数改写成下面的形式：
现在假设我们已经得到了最优的超平面，在固定超平面的情况下我们添加一个条件：
这是可以做到的，因为对于一个超平面，如果他两侧的支持向量到他的距离不一致，那么这两个距离的平均值明显是一个更大的最短距离，而相应的超平面也会是更好的超平面。另外考虑到直线的系数可以等比例的变化，我们总可以调整系数使得支持向量到超平面的距离为1，而且超平面不变，因此上面的要求是可以满足的。
我们考虑下面的图：
首先对于固定的训练集，超平面的斜率是固定的，因为斜率的改变就意味着法线W的改变，那么“最短距离的最大值”就无法被满足了。另外考虑刚才叙述，我们可以把最优超平面沿着垂直于其法线的方向做平移，而平移的极限情况如下
这就是为什么我们要把“最短距离的最大值”称为margin（范围）的原因，在这张图中，margin的边缘被一个粉色的点和两个蓝色的点限制住了，这些点就是我们之前定义中的支持向量，而他们被称作支持向量也正是因为这些点“支撑”了margin，过支持向量与最优超平面平行的直线就是margin的边界。
现在我们把目标函数改写成：
并进一步改写成：
这里，我们使用拉格朗日乘数法，构造拉格朗日函数：
其中，最优解满足条件：
经过消元化简后，形式为：
这就是目标函数的最终形式。
至此，我们已经把目标函数推导完毕了，接下来要解决的是噪点、非线性可分以及多维数据等问题，这些我会在接下来的文章中解决。
谢谢阅读！