本篇文章整理自知乎SVM中,高斯核为什么会把原始维度映射到无穷多维?

      在svm中,我们试图在一个更高维的空间中找到一个超平面将数据线性可分,但是在寻找高维空间的时候可能存在维度爆炸。于是我们想到了核函数,一种在低维空间中代替高维空间中做内积运算的一个函数 【SVM】为什么RBF核可以将向量映射到无穷维 ,使得 【SVM】为什么RBF核可以将向量映射到无穷维

       对于rbf核,其表达式为:

【SVM】为什么RBF核可以将向量映射到无穷维

 针对最后一项,根据泰勒展开式:

【SVM】为什么RBF核可以将向量映射到无穷维

展开得:

【SVM】为什么RBF核可以将向量映射到无穷维

则可以看出映射函数为:

【SVM】为什么RBF核可以将向量映射到无穷维

 

另一个比较直观的推导

【SVM】为什么RBF核可以将向量映射到无穷维

       其中的【SVM】为什么RBF核可以将向量映射到无穷维,可以看出【SVM】为什么RBF核可以将向量映射到无穷维将x映射到了无穷维,而且【SVM】为什么RBF核可以将向量映射到无穷维越大(即【SVM】为什么RBF核可以将向量映射到无穷维越小)高维向量的值越大。如何找到合适的空间尽可能大的分离数据,且在测试集上有较好的表现,就需要我们去进行调参(【SVM】为什么RBF核可以将向量映射到无穷维和其他的SVM参数,例如正则化参数C)

相关文章: