核函数（Kernels）
定义 1.1 (核或正定核) 设是
中的一个子集，称定义在
上的函数
是核函数，如果存在一个从
到Hilbert空间
的映射
使得对任意的，
都成立。其中
表示Hilbert空间
中的内积。
在低纬度空间里不可分的问题，我们可以通过将其向高纬度空间转化，使其线性可分。而转换的关键是找到低维空间向高纬的映射方法。
考虑我们最初在“线性回归”中提出的问题，特征是房子的面积x，这里的x是实数，结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线，那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维，然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射（feature mapping）。映射函数称作
，在这个例子中
我们希望将得到的特征映射后的特征应用于SVM分类，而不是最初的特征。这样，我们需要将前面公式中的内积从
，映射到
。
至于为什么需要映射后的特征而不是最初的特征来参与计算，上面提到样例可能存在线性不可分的情况，而将特征映射到高维空间后，往往就可分了，同时也为达到更好地拟合效果。
根据核函数的定义，如果原始特征内积是，映射后为
，那么定义核函数（Kernel）为
可见，核函数接受低维空间的输入值，却能算出高维空间的内积值。如果按照传统方法，需先计算，然后计算
，然而这种计算方式是非常低效的。比如最初的特征是n维的，我们将其映射到
维，然后再计算，这样需要
的时间。通过核函数极大地减少了计算时间。
先看一个例子，假设x和z都是n维的，
展开后，得
这个时候发现我们可以只计算原始特征x和z内积的平方，就等价与计算映射后特征的内积。
现在看一下映射函数（n=2时），根据上面的公式，得到
也就是说核函数只能在选择这样的
作为映射函数时才能够等价于映射后特征的内积。
再看一个核函数
对应的映射函数（n=2时）
由于计算的是内积，我们可以想到IR中的余弦相似度，如果x和z向量夹角越小，那么核函数值越大，反之，越小。因此，核函数值是
再看另外一个核函数
这时，如果和
很相近（
），那么核函数值为1，如果x和z相差很大（
），那么核函数值约等于0。由于这个函数类似于高斯分布，因此称为高斯核函数，也叫做径向基函数（Radial Basis Function 简称RBF）。它能够把原始特征映射到无穷维。
使用核函数后，怎么分类新来的样本呢？线性的时候我们使用SVM学习出w和b，新来样本x的话，我们使用来判断，如果值大于等于1，那么是正类，小于等于是负类。在两者之间，认为无法确定。如果使用了核函数后，
就变成了
，是否先要找到
，然后再预测？答案肯定不是了，找
很麻烦，回想我们之前说过的
只需将替换成
，然后值的判断同上。
核函数不仅仅用在SVM上，但凡在一个模型后算法中出现了，我们都可以常使用
去替换，这可能能够很好地改善我们的算法。