支持向量机内核类型

Question

支持向量机中常用的核函数是线性、径向基函数和多项式。有人可以用简单的方式解释这个内核函数是什么吗:) 由于我是这个领域的新手，我不清楚这些内核类型的重要性。

Answer 1

让我们从头开始。支持向量机是一个线性模型，它总是寻找一个超平面来将一个类与另一个类分开。我将专注于二维情况，因为它更容易理解并且 - 可以可视化以给出一些直觉，但是请记住，这对于更高维度是正确的（简单的线变成平面，抛物线变成抛物面等）。

简短的内核

内核所做的是改变线性公式中点积的定义。这是什么意思？ SVM 使用点积，有限维度定义为<x,y> = x^Ty = SUM_{i=1}^d x_i y_i。这或多或少捕获了两个向量之间的相似性（也是投影的几何运算，它也与向量之间的角度密切相关）。内核技巧的作用是将 SVM 数学中 <x,y> 的每次出现更改为 K(x,y) 说“K 是某些空间中的点积”，并且每个内核都存在一个映射 f_K，因此 K(x,y)=<f_K(x), f_K(y)> 的技巧是，您不直接使用 f_K，而只是计算它们的点积，这可以为您节省大量时间（有时 - 无限量，因为 f_K(x) 可能有无限个维度）。好吧，这对我们意味着什么？我们仍然“生活”在 x 的空间中，而不是 f_K(x)。结果非常好——如果你在 f_K 的空间中构建一个超平面，分离你的数据，然后回顾 x 的空间（所以你可能会说你通过 f_K^{-1} 投影超平面）你会得到非线性决策边界！边界的类型取决于 f_K，f_K 取决于 K，因此，K 的选择将（除其他外）影响边界的形状。

线性内核

这里我们实际上没有任何内核，你只有“正常”的点积，因此在 2d 中你的决策边界总是线。

如您所见，我们可以正确分离大部分点，但由于我们假设的“僵硬” - 我们永远不会捕获所有点。

聚

在这里，我们的内核在一定程度上引入了我们特征的多项式组合空间。因此，我们可以使用稍微“弯曲”的决策边界，例如 degree=2 的抛物线

如您所见 - 我们分离了更多点！好的，我们可以通过使用高阶多项式来获得所有这些吗？让我们试试4！

很遗憾没有。为什么？因为多项式组合不够灵活。它不会“弯曲”我们的空间来捕捉我们想要的东西（也许它还不错？我的意思是 - 看看这一点，它看起来像一个异常值！）。

RBF 内核

在这里，我们的诱导空间是高斯分布的空间......每个点都成为正态分布的概率密度函数（直到缩放）。在这样的空间中，点积是积分（因为我们确实有无限维数！）因此，我们具有极大的灵活性，事实上，使用这样的内核你可以分离一切（但它好吗？）

粗略比较

好的，那么主要区别是什么？我现在将在几个方面对这三个内核进行排序

• SVM 学习时间：线性
• 能够拟合任何数据：线性
• 过拟合的风险：线性
• 欠拟合风险：rbf
• 超参数数量：线性（0）
• “局部”如何是特定内核：线性

那么选择哪一个呢？这取决于。 Vapnik 和 Cortes（SVM 的发明者）非常支持这样的想法，即您应该始终尝试拟合 尽可能简单的模型，并且只有在它不适合的情况下 - 选择更复杂的模型。因此，您通常应该从线性模型（SVM 的情况下为内核）开始，如果它得到非常糟糕的分数 - 切换到 poly/rbf（但请记住，由于超参数的数量，使用它们要困难得多）

所有图像都使用 libSVM 网站上的一个不错的小程序完成 - 试一试，没有什么比大量图像和交互更能提供直觉 :-) https://www.csie.ntu.edu.tw/~cjlin/libsvm/