9.支撑向量机-SVM

SVM要最大化margin,而margin=2d,所以问题转化为最大化d.

9.支撑向量机-SVM9.支撑向量机-SVM9.支撑向量机-SVM9.支撑向量机-SVM

SVM算法最终的最优化问题:

9.支撑向量机-SVM

s.t. 表示subject to,它后面的式子表示约束条件。

这个最优化问题是Hard Margin SVM问题,它假设数据是线性可分的。

Soft Margin SVM:9.支撑向量机-SVM9.支撑向量机-SVM9.支撑向量机-SVM

核函数:

变化后的项中有一部分是xi*xj,也就是对于任意两个样本点的x值点乘。在多项式求解的时候需要对xi添加多项式项形成x`i,对xj添加多项式项形成x`j,然后再将二者进行点乘。所以如果能找到一个函数K,将xi和xj分别作为参数传入,返回的就是x`i和x`j点乘的结果,那么我们就不需要分别运算再相乘,并且也节省了空间(因为不需要将低维的数据变形为高维的数据进行存储,可以利用K函数直接计算出结果)。这个K就是核函数(Kernel Function)。

9.支撑向量机-SVM9.支撑向量机-SVM9.支撑向量机-SVM

高斯核函数:

高斯核函数也叫RBF核(Radial Basis Function Kernel)

9.支撑向量机-SVM

对于高斯核函数,每一个数据点都是landmark,也就是对于每一个x,它都要尝试对于每一个样本y进行核函数的计算,成为新的高维数据。

将原来m*n 的数据映射成了m*m的数据,如果m非常大,那么经过高斯核函数后,就映射成了一个非常高维空间的数据点。

9.支撑向量机-SVM

 

相关文章: