核函数基础二核方法、核技巧和核函数

核方法

核方法 是一类把低维空间的非线性可分问题，转化为高维空间的线性可分问题的方法。核方法不仅仅用于SVM，还可以用于其他数据为非线性可分的算法。核方法的理论基础是Cover's theorem，指的是对于非线性可分的训练集，可以大概率通过将其非线性映射到一个高维空间来转化成线性可分的训练集。

SVM中，令 $\phi(x_i)$ 表示将 $x_i$ 映射后的线性向量，那么对偶问题是：

$\begin{equation}\begin{aligned}& \max_{\alpha}& &\sum_{i=1}^m \alpha_i-\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^m \alpha_i \alpha_j y_i y_j \phi(x_i)^{\intercal} \phi(x_j)\\& \text{subject to}& & \sum_{i=1}^m \alpha_i y_i = 0 \\ & & & 0 \leqslant \alpha_i \leqslant C,\; i = 1,\dots,m\end{aligned}\end{equation}\tag{1}$

最终分类模型是：

$f(x) = \sum_{i = 1}^m \alpha_iy_i\phi(x_i)^{\intercal} \phi(x) +b \tag{2}$

跟上一篇的SVM相比，除了 $x_i$ 变成了 $\phi(x_i)$ ，其他式子没有任何变化。

到这里核方法已经初步结束了，如果知道 $\phi$ 的具体形式就可以直接拿来用了。不过再深入一步，可以用核技巧加速核方法的计算。观察 $(1),(2)$ ，我们只需要计算 $\phi(x_i)^{\intercal}\phi(x_i)$ ，并不需要单独计算，这便引入了核函数的概念。

核函数

定义核函数[2] 设 $\mathcal{X}$ 是输入空间（即 $x_i \in \mathcal{X}$ ， $\mathcal{X}$ 是 $\mathbb{R}^n$ 的子集或离散集合），又设 $\mathcal{H}$ 为特征空间（ $\mathcal{H}$ 是希尔伯特空间[3]），如果存在一个从 $\mathcal{X}$ 到 $\mathcal{H}$ 的映射

$\phi(x) : \mathcal{X} \to \mathcal{H} \tag{3}$

使得对所有 $x,z \in \mathcal{X}$ ，函数 $K(x,z)$ 满足条件

$K(x,z) = \langle \phi(x),\phi(z) \rangle \tag{4}$

则称 $K$ 为核函数。其中 $\phi(x)$ 为映射函数， $\langle \cdot,\cdot \rangle$ 为内积。

即核函数输入两个向量，它返回的值跟两个向量分别作 $\phi$ 映射然后点积的结果相同。

核技巧

核技巧是一种利用核函数直接计算 $\langle \phi(x),\phi(z) \rangle$ ，以避开分别计算 $\phi(x)$ 和 $\phi(z)$ ，从而加速核方法计算的技巧。

得益于SVM对偶问题的表现形式，核技巧可以应用于SVM。 $(1)$ 可改写为：

$\begin{equation}\begin{aligned}& \max_{\alpha}& &\sum_{i=1}^m \alpha_i-\frac{1}{2}\sum_{i=1}^m\sum_{j=1}^m \alpha_i \alpha_j y_i y_j K(x_i,x_j)\\& \text{subject to}& & \sum_{i=1}^m \alpha_i y_i = 0 \\ & & & 0 \leqslant \alpha_i \leqslant C,\; i = 1,\dots,m\end{aligned}\end{equation}\tag{5}$

$(2)$ 可改写为：

$f(x) = \sum_{i = 1}^m \alpha_iy_iK(x_i,x) +b \tag{6}$

核函数的选择是SVM的最大变数，如果核函数选择不适，那么 $\phi$ 将不能将输入空间映射到线性可分的特征空间。下表为常用核函数[4]：

不知道 $\phi$ 的情况下，如何判断某个 $K$ 是不是核函数？答案是 $K$ 是核函数当且仅当对任意数据 $D={x_1,x_2,\dots,x_m}$ ，核矩阵(kernal matrix,gram matrix)总是半正定的[5]：

$核矩阵 = \begin{bmatrix} K(x_1,x_1) & K(x_1,x_2) & \dots & K(x_1,x_m) \\ K(x_2,x_1) & K(x_2,x_2) & \dots & K(x_2,x_m) \\ \vdots &\vdots & &\vdots\\ K(x_m,x_1) & K(x_m,x_2) & \dots & K(x_m,x_m) \end{bmatrix} \tag{7}$

总结：核方法是一类把低维空间的非线性可分问题，转化为高维空间的线性可分问题的方法。核函数输入两个向量，它返回的值跟两个向量分别作 $\phi$ 映射然后点积的结果相同。核技巧是一种利用核函数直接计算 $\langle \phi(x),\phi(z) \rangle$ ，以避开分别计算 $\phi(x)$ 和 $\phi(z)$ ，从而加速核方法计算的技巧。核方法不仅仅适用于SVM，还适用于其他数据为非线性可分的问题和算法。SVM的表现形式包含了映射的点积，所以可以用核技巧加速核方法的计算。

[1] 本文主干内容来自Machine-Learning-Session 。

[2] 《统计学习方法》定义7.6

[3] 希尔伯特空间是完备的(对极限封闭)、被赋予内积的(对称性、正定性、线性)线性空间。

[4] 《机器学习》表6.1

[5] 证明见《统计机器学习》定理7.5