ML笔记——支持向量机（SVM)

目录

• • 想法
  • 数学表达
  • 胡思乱想时刻

---

想法

对于任意一个数据映射到多维空间，如果是不同的数据集之间必定存在间距，此时能用一个超平面就可以将其分开且间距最大

数学表达

1. 处理线性问题
   建设函数：
   hθ(x)={10ΘTX≥0ΘTX<0$h_{\theta }(x)=\{\begin{array}{}1& {\mathrm{\Theta }}^{T}X\ge 0\\ 0& {\mathrm{\Theta }}^{T}X<0\end{array}$
   代价函数：
   J(θ)=C∑mi=1[yiCost1(ΘTXi)+(1−yi)Cost0(ΘTXi)]+12∑nj=1θ2j$J(\theta )=C\sum _{i=1}^m\left[y^{i}Cos{t}_1({\mathrm{\Theta }}^T{X}^i)+(1-y^i)Cos{t}_0({\mathrm{\Theta }}^T{X}^i)\right]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$
   其中的
   m$m$表示训练数据数量
   n$n$表示n$n$维空间
   Θ$\mathrm{\Theta }$表示关于θ$\theta$的n$n$维列向量
   Cost1(ΘTXi)=Cost1(z)={−z+10z<1z≥1$Cos{t}_1({\mathrm{\Theta }}^T{X}^i)=Cos{t}_1(z)=\{\begin{array}{}-z+1& z<1\\ 0& z\ge 1\end{array}$
   Cost2(ΘTXi)=Cost2(z)={0z+1z≤−1z>−1$Cos{t}_2({\mathrm{\Theta }}^T{X}^i)=Cos{t}_2(z)=\{\begin{array}{}0& z\le -1\\ z+1& z>-1\end{array}$
   通过求解minθJ(θ)$\underset{\theta }{min}J(\theta )$得到合适的θ$\theta$值

2. 采用核函数处理非线性问题
   f=θ0+θ1f1+…+θmfm$f={\theta }_0+{\theta }_1{f}_1+\dots +{\theta }_m{f}_m$
   fj=k(x, lj)=exp(−∥x−lj∥22σ2)$f_j=k(x,l^j)=\exp \left(-\frac{\parallel x-l^j{\parallel }^2}{2{\sigma }^2}\right)$
   其中的
   lj$l^j$表示第j$j$个标记点，可以选取第j$j$个训练数据xj$x^j$作为标记点
   x$x$表示某一组训练数据
   k(x, lj)$k(x,l^j)$表示训练数据x$x$到标记点lj$l^j$的偏差程度
   ∥x−lj∥$\parallel x-l^j\parallel$表示向量的长度
   对于第i组测试数据
   fij=k(xi, lj)=exp(−∥xi−lj∥22σ2)$f_j^i=k(x^i,l^j)=\exp \left(-\frac{\parallel x^i-l^j{\parallel }^2}{2{\sigma }^2}\right)$
   并将其写成向量形式，
   fi=⎡⎣⎢⎢⎢⎢fi0fi1⋮fim⎤⎦⎥⎥⎥⎥$f^i=\left[\begin{array}{}{f}_0^i\\ f_1^i\\ ⋮\\ f_m^i\end{array}\right]$
   其中的
   fi0=1$f_0^i=1$
   那么代价函数
   J(θ)=C∑mi=1[yiCost1(ΘTfi)+(1−yi)Cost0(ΘTfi)]+12∑mj=1θ2j$J(\theta )=C\sum _{i=1}^m\left[y^{i}Cos{t}_1({\mathrm{\Theta }}^T{f}^i)+(1-y^i)Cos{t}_0({\mathrm{\Theta }}^T{f}^i)\right]+\frac{1}{2}\sum _{j=1}^m{\theta }_j^2$
   通过求解minθJ(θ)$\underset{\theta }{min}J(\theta )$得到合适的θ$\theta$

胡思乱想时刻

1. 关于逻辑回归和支持向量机的区别
   逻辑回归：使用Sigmoid函数的结果，以概率输出；同时，作为分类的依据就是与Sigmoid函数中的特殊点(0, 0.5)$(0,0.5)$做比较，也就是当y=1$y=1$时，ΘTX≥0${\mathrm{\Theta }}^{T}X\ge 0$；当y=0$y=0$时，ΘTX<0${\mathrm{\Theta }}^{T}X<0$。选取的θ$\theta$值并没有考虑两个类群之间的间距
   支持向量机：输出的结果只有0, 1$0,1$两个值；求解θ$\theta$过程中选取的依据是，当y=1$y=1$时，ΘTX≥1${\mathrm{\Theta }}^{T}X\ge 1$；当y=0$y=0$时，ΘTX≤−1${\mathrm{\Theta }}^{T}X\le -1$。也就是选取的θ$\theta$值使得两个不同的类群有一定的距离（可以通过数学证明）

2. 如何保证是最大划分？
   对于假设函数
   ΘTX=θ0x0+θ1x1+…+θnxn=θ⃗⋅x⃗=p⋅∥θ∥ ≥ 0${\mathrm{\Theta }}^{T}X={\theta }_0{x}_0+{\theta }_1{x}_1+\dots +{\theta }_n{x}_n=\overrightarrow{\theta }\cdot \overrightarrow{x}=p\cdot \parallel \theta \parallel \ge 0$
   其中的
   p$p$表示向量x⃗$\overrightarrow{x}$在向量θ⃗$\overrightarrow{\theta }$方向上的投影
   θ0=0${\theta }_0=0$
   由于θ⃗⋅x⃗$\overrightarrow{\theta }\cdot \overrightarrow{x}$的结果与0$0$做比较，则向量θ⃗$\overrightarrow{\theta }$与向量x⃗$\overrightarrow{x}$相互垂直，且向量x⃗$\overrightarrow{x}$过原点
   对于代价函数
   12∑nj=1θ2j=12(θ21+θ22+…+θ2n‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾‾√)2=12∥θ∥2$\frac{1}{2}\sum _{j=1}^n{\theta }_j^2=\frac{1}{2}{\left(\sqrt{{\theta }_1^2+{\theta }_2^2+\dots +{\theta }_n^2}\right)}^2=\frac{1}{2}\parallel \theta {\parallel }^2$
   则
   J(θ)=C∑mi=1[yiCost1(p⋅∥θ∥)+(1−yi)Cost0(p⋅∥θ∥)]+12∥θ∥2$J(\theta )=C\sum _{i=1}^m\left[y^{i}Cos{t}_1(p\cdot \parallel \theta \parallel )+(1-y^i)Cos{t}_0(p\cdot \parallel \theta \parallel )\right]+\frac{1}{2}\parallel \theta {\parallel }^2$
   minθJ(θ)=minθC∑mi=1[yiCost1(p⋅∥θ∥)+(1−yi)Cost0(p⋅∥θ∥)]+minθ12∥θ∥2$\underset{\theta }{min}J(\theta )=\underset{\theta }{min}C\sum _{i=1}^m\left[y^{i}Cos{t}_1(p\cdot \parallel \theta \parallel )+(1-y^i)Cos{t}_0(p\cdot \parallel \theta \parallel )\right]+\underset{\theta }{min}\frac{1}{2}\parallel \theta {\parallel }^2$
   如下图（紫色直线为决策边界）
   
   此时的p1, p2$p_1,p_2$都较短，要想满足训练时ΘTX≥1${\mathrm{\Theta }}^{T}X\ge 1$或ΘTX≤−1${\mathrm{\Theta }}^{T}X\le -1$的情况，则需要使θ$\theta$较长，与minθ12∥θ∥2$\underset{\theta }{min}\frac{1}{2}\parallel \theta {\parallel }^2$矛盾
   又如下图（紫色直线为决策边界）
   
   此时的p1, p2$p_1,p_2$都较长，那么θ$\theta$的值就可以略短一些
   也就是当p$p$的值较大，θ$\theta$值较短时，能更好的满足minθJ(θ)$\underset{\theta }{min}J(\theta )$
   再反观p$p$所表示的几何意义时，可以发现p$p$不仅仅是投影，还表示离决策边界的距离，所以通过对minθJ(θ)$\underset{\theta }{min}J(\theta )$的求解可以得到更宽松的决策边界

3. 逻辑回归中的正则化与支持向量机中的正则化
   正则化通常时引入一个较大的常数，并与式子中待控制的部分相乘，在求解最小值时，使得待控制的部分趋于0$0$
   逻辑回归中的正则化是为了简化训练模型
   支持向量机的正则化是为了在有一定区分度的情况下，使得θ$\theta$值较小，从而获得更大的间距

4. 核函数相关
   核函数是一种将低维投到高维的一种方式，对于二维空间内无法用直线分割的数据集，可以通过将这些数据投到三维空间内用平面进行分割
   如下图
   
   选取xOy$xOy$平面中的(3,2)$(3,2)$作为标记点并用高斯核函数，将平面上C$C$点投到三维空间中的B$B$
   关于逻辑回归中不适合用核函数，可能是逻辑回归中的代价函数使用的是非线性函数（log(hθ(x))$\log (h_{\theta }(x))$）将比Cost(ΘTX)$Cost({\mathrm{\Theta }}^{T}X)$产生更大的计算量