DataWhale-05-SVM

SVM: Support Vector Machines 支持向量机。之所以成为“机”，是因为它会产生一个二值决策结果，即它是一种决策机。

优点：泛化错误率低，计算开销不大，结果易解释。
缺点：对参数调节和核函数的选择敏感，原始分类器不加修改仅适用于处理二类问题。
适用数据类型：数值型和标称型数据

相关概念：

分隔超平面（separating hyperplane）：如上图从右向左的斜线将数据集分隔开来的直线称为分隔超平面。它是分类的决策边界。数学形式为$w^Tx+b$wTx+b
间隔（margin）：点A到分隔面的距离称为间隔。 数学形式为$\frac{|w^TA+b|}{||w||}$∣∣w∣∣∣wTA+b∣​，支持向量机算法的目的就是找出离分隔平面距离最小的点，这些数据点就是支持向量，一旦找到这些点，就需要对该间隔最大化。
最大超平面：上面提到的间隔最大化组成的超平面。数学形式为
$\arg \max _{w, b}\left\{\min _{n}\left(\operatorname{label} \cdot\left(w^{\mathrm{T}} x+b\right)\right) \cdot \frac{1}{\|w\|}\right\}$argw,bmax​{nmin​(label⋅(wTx+b))⋅∥w∥1​}
SMO算法（Sequential Minimal Optimization）：SVM有很多实现，SMO算法是其中最流行的一种实现，即序列最小优化（Sequential Minimal Optimization）。
核函数(kernal)：作用是将数据转换为易于分类理解的形式。我们将数据从一个特征空间转换到另一个特征空间，在新空间下，我们可以很容易利用已有的工具对数据进行处理。这个过程称为从一个特征空间到另一个特征空间的映射。通常情况下，这种映射会将低维特征空间映射到高位空间。
径向基函数（radial basis function）:径向基函数最流行的核函数，径向基函数是一个采用向量作为自变量的函数，能够基于向量距离运算输出一个标量。我们将会用到径向基函数的高斯版本，具体公式为
$k(x, y)=\exp \left(\frac{-\|x-y\|^{2}}{2 \sigma^{2}}\right)$k(x,y)=exp(2σ2−∥x−y∥2​)
$\sigma$σ是用户定义的用于确定到达率（reach）或者说函数值跌落到0的速度参数。
SVM硬间隔：硬间隔是方便用来分隔线性可分的数据。
SVM软间隔：软间隔的最基本含义同硬间隔比较区别在于允许某些样本点不满足原约束，从直观上来说，也就是“包容”了那些不满足原约束的点。软间隔对约束条件进行改造，迫使某些不满足约束条件的点作为损失函数

数学知识：

拉格朗日乘子法：在数学最优问题中，拉格朗日乘数法（以数学家约瑟夫·路易斯·拉格朗日命名）是一种寻找变量受一个或多个条件所限制的多元函数的极值的方法。

Reference：

1. 《机器学习实战》
2. 拉格朗日乘子法百度百科