SVM——大间隔分类器的原理
1、前言
在下图的分类中，线性分类器的决策边界可能是绿色或粉色的直线，但支持向量机(SVM)的决策边界却会是下面黑色的直线；
显然，黑色直线的分类效果更好，下面就让我们简单解释一些其中原理。
2、向量内积
假设有两个向量u，v，如下所示：
向量u，v在直接坐标系中如下：
现在，向量u的范数，也就是向量u的长度：
向量v在向量u上的投影如下图所示：
此时，向量u与向量v的内积为：
其中，p为向量v在向量u上的投影长度。
但是，如果向量u与向量v之间的夹角>90°，则p<0,如下图
3、SVM分类器
目标函数：
其中，
因为上面的优化，使得目标函数变得简单了。
在这里，我们再简化一下，
这样，目标函数公式转化为
再者，如下图所示
则，
经过这样的转化，SVM优化后的目标函数如下表示
接下来重点来了！！！
我们讨论一下，为什么SVM不会采用下图的这种决策边界（绿色直线）
在经过上面向量的内积知识点的复习之后，我们能够做出下面这个图，我们分析一下
在绿色直线的右侧，p(1)值很小，对于目标函数的正样本而言，要符合以下公式：
p(1)值很小，若要符合公式，则||θ||特别大
相同的，在绿色直线的左侧，p(2)值很小，对于目标函数的正样本而言，要符合以下公式：
p(2)值很小，若要符合公式，则||θ||特别大
但是目标函数要寻找的是一组θ，使得||θ||最小，因此SVM不会采用这种决策边界。
那么，SVM采用的决策边界是什么样子呢？
SVM采用的决策边界会如下图所示
相比之下，p的值变大，造成相应的||θ||变小，这样就符合和SVM目标函数的要求。
最后，因为我们的推导自始至终使用了一个简化假设，即
所以，我们推导的决策边界都是经过（0,0）坐标原点的，实际过程中，我们不会这样假设。
4、一些解释
4.1、为什么图片中向量θ和决策边界始终垂直
因为向量x在向量θ上的投影长度p，只有在向量θ和决策边界始终垂直的时候才能代表向量x到决策边界的距离。
4.2、SVM的全部目标函数公式
5、参考资料
吴恩达视频讲解
链接:https://www.bilibili.com/video/BV164411b7dx?p=71.