机器学习13课：SVM

概念

可分SVM推导

$f(x)=w*x+b,x是n维向量，w法向量，b是截距。=0是直线分割线$f(x)=w∗x+b,x是n维向量，w法向量，b是截距。=0是直线分割线
所以支持面是$w*x+b=-1, w*x+b=1$w∗x+b=−1,w∗x+b=1，以下3点是支撑向量

学习目标：系数c、核函数系数对比调参实验

选择最优分割svm

计算点到直线的距离公式得到$||w||_2$∣∣w∣∣2​

what: 让样本点距直线总距离最小，最近点支持向量的距离取最大（yi取-1，1），j是第j条线：wj发线，bj截距

理解：首先看哪个线可以分，其次看支持的向量距离最大

线性可分样本不会出现在过渡带上，软则可以

$\phi(x)是将x映射到多项式增加维度使分割可以为曲线$ϕ(x)是将x映射到多项式增加维度使分割可以为曲线

先根据所有样本到直线距离求最近min的直线w和b得到左图这么多分割线

然后求出支持点到直线距离最大的线

优化arg max（min{}），w法向量可缩放，等价成带约束的min{}优化

拉格朗日乘子法(n个样本)

进一步得到对偶函数，得到乘子最大值
原始为凸函数，则对偶函数min 最优解等价

非支持向量的点的$\alpha_i$αi​=0，支持向量的$\alpha_i$αi​不是0

SVM优化算法：SMO(serial max optimal)、也可以SGD优化

距离

为什么还有选择soft 松弛 SVM

当C为无穷大则为线性可分SVM，越大越不容许错误（为了大部分分类对，牺牲分错部分）

将上式反过来写就是线性回归的loss加正则项：合页损失

核函数