希尔伯特空间/再生核希尔伯特空间

现代数学的一个特点就是以集合为研究对象，这样的好处就是可以将很多不同问题的本质抽象出来，变成同一个问题，当然这样的坏处就是描述起来比较抽象，很多人就难以理解了。这里主要整理(摘抄)了一下欧式空间和从向量空间一直到再生核希尔伯特空间的概念与简单理解。
欧式空间/欧几里得空间(Euclidean Space)
设V$V$是实数域R$R$上的线性空间（或称为向量空间），若V$V$上定义着正定对称双线性型g$g$（g$g$称为内积），则V$V$称为（对于g$g$的）内积空间或欧几里德空间（有时仅当V$V$是有限维时，才称为欧几里德空间）。这些数学空间可以被扩展来应用于任何有限维度，而这种空间叫做 n维欧几里得空间（甚至简称  n${\displaystyle n}$  维空间）或有限维实内积空间。
欧里几何空间可以说是内积空间的引申。

线性空间/向量空间(Linear Space/Vector Space)
一系列向量的集合并且只满足加法和标量乘（向量的相乘）操作的集合。

内积空间(inner product space)
内积空间(V,⟨.,.⟩)$(\mathcal{V},⟨.,.⟩)$ 是在域F$\mathbb{F}$上可进行⟨.,.⟩:V×V→F$⟨.,.⟩:\mathcal{V}\times \mathcal{V}\to \mathbb{F}$运算法操作的向量空间，其满足三个原则：

1. 共轭对称：⟨x,y⟩=⟨y,x⟩¯¯¯¯¯¯¯¯¯¯¯¯$⟨\mathbf{x},\mathbf{y}⟩=\overline{⟨\mathbf{y},\mathbf{x}⟩}$
2. 第一个变量满足线性性：⟨ax,y⟩=a⟨x,y⟩$⟨a\mathbf{x},\mathbf{y}⟩=a⟨\mathbf{x},\mathbf{y}⟩$和⟨x+z,y⟩=⟨x,y⟩+⟨z,y⟩$⟨\mathbf{x}+\mathbf{z},\mathbf{y}⟩=⟨\mathbf{x},\mathbf{y}⟩+⟨\mathbf{z},\mathbf{y}⟩$
3. 正定性：⟨x,x⟩≥0$⟨\mathbf{x},\mathbf{x}⟩\ge 0$ 其中等式只有在x=0$x=0$取到

范数向量空间/赋范向量空间(normed vector space)
定义了向量长度的向量空间，这样我们就可以衡量向量间的长度了。

度量空间(metric space)
定义了两个点的距离的集合（这里不必须是向量空间）。范数向量空间是度量空间，但是度量空间不一定是范数向量空间。

希尔伯特空间(Hilbert Space)
希尔伯特空间即完备的内积空间，也就是说一个带有内积的完备向量空间。当一个内积空间满足通过内积空间可推导出范数空间(赋范空间)，并且是完备的，那么这个内积空间就是希尔伯特空间。对于常见的Rn${\mathbb{R}}^n$,满足内积运算，能够推导出l2$l_2$范数，且是完备的，所以是希尔伯特空间。
简单来说，基本的线性空间只包括加法和数乘操作，在此基础上我们引入内积操作，这样就把空间升级为内积空间。根据内积我们可以定义一个范数：||x||=<x,x>$\left||x\right||=<x,x>$于是我们就得到了一个赋范向量空间。有了范数之后我们就可以引入一个度量：d(x1,x2)=||x1−x2||$d(x_1,x_2)=||x_1-x_2||$用于计算向量x1$x_1$和x2$x_2$之间的距离。于是我们就得到一个度量空间。如果这样的空间在这个度量下是完备的，那么这个空间叫做希尔伯特空间。

总结一下希尔伯特空间定义的流程是：
线性空间（向量空间）–> 内积空间 –> 赋范向量空间 –> 度量空间 –完备的–> 希尔伯特空间
另外，希尔伯特空间是一个函数空间，即空间中每个元素都是一个函数。

再生核
接下来引入再生核的概念：
X$\mathcal{X}$是非空集，H$\mathcal{H}$是定义在X$\mathcal{X}$上的希尔伯特空间。核k$k$满足下面的两条性质就称为H$\mathcal{H}$的再生核：

1. 对于每个x0∈X$x_0\in \mathcal{X}$,k(y,x0)$k(y,x_0)$)作为y$y$的函数属于空间H$\mathcal{H}$
2. 任意x$x$属于X$X$和f(.)$f(.)$属于H$\mathcal{H}$，有f(x)=<f(.),K(.,x)>H$f(x)=<f(.),K(.,x){>}_H$

再生核希尔伯特(Reproducing Kernel Hilbert Space, RKHS)
再生核希尔伯特是由核函数构成的空间。
其基底为：{λi−−√ψi}∞i=1$\{\sqrt{{\lambda }_i}{\psi }_i{\}}_{i=1}^{\mathrm{\infty }}$
所以其中任意函数都可以由基底表示:f=∑∞i=1fiλi−−√ψi$f=\sum _{i=1}^{\mathrm{\infty }}{f}_i\sqrt{{\lambda }_i}{\psi }_i$
选出其中的两个函数，按照坐标表示如下： f=(f1,f2,...)TH和g=(g1,g2,...)TH$f=(f_1,f_2,...{)}_{\mathcal{H}}^T和g=(g_1,g_2,...{)}_{\mathcal{H}}^T$
所以其内积为： <f,g>H=∑∞i=1figi$<f,g{>}_{\mathcal{H}}=\sum _{i=1}^{\mathrm{\infty }}{f}_i{g}_i$
再来看核函数K(x,y)$K(x,y)$将其中一个元素固定K(x0,y)$K(x_0,y)$，则其也可以看成一个函数
K(x0,y)=∑∞i=0λiψi(x)ψi$K({\mathbf{x}}_{\mathbf{0}},\mathbf{y})=\sum _{i=0}^{\mathrm{\infty }}{\lambda }_i{\psi }_i(\mathbf{x}){\psi }_i$
化成向量坐标表示形式： K(x0,y)=(λ1−−√ψ1(x),λ2−−√ψ2(x),⋯)TH$K({\mathbf{x}}_{\mathbf{0}},\mathbf{y})=(\sqrt{{\lambda }_1}{\psi }_1(\mathbf{x}),\sqrt{{\lambda }_2}{\psi }_2(\mathbf{x}),\cdots {)}_{\mathcal{H}}^T$
所以计算内积： <K(x0,y),K(y0,x)>H=∑∞i=0λiψi(x0)ψi(y0)=K(x0,y0)$<K({\mathbf{x}}_{\mathbf{0}},\mathbf{y}),K({\mathbf{y}}_{\mathbf{0}},\mathbf{x}){>}_{\mathcal{H}}=\sum _{i=0}^{\mathrm{\infty }}{\lambda }_i{\psi }_i({\mathbf{x}}_{\mathbf{0}}){\psi }_i({\mathbf{y}}_{\mathbf{0}})=K({\mathbf{x}}_{\mathbf{0}},{\mathbf{y}}_{\mathbf{0}})$

上面这个性质就叫做再生性（reproducing property），所以这个空间才叫做再生核希尔伯特空间。
这个性质是非常好的，因为这样看，原本函数之间计算内积需要算无穷维的积分的，但是现在只需要算核函数就好了。
所以定义一个点的映射一个点x给其映射到一个无穷维的特征空间【即先将这个点变成一个函数，而这个函数可以看成一个无穷维的特征空间】：

Φ(x)=K(x,⋅)=(λ1−−√ψ1(x),λ2−−√ψ2(x),⋯)T(21)$$\begin{array}{}\text{(21)}& \mathbf{\Phi }(\mathbf{x})=K(\mathbf{x},\cdot )=(\sqrt{{\lambda }_1}{\psi }_1(\mathbf{x}),\sqrt{{\lambda }_2}{\psi }_2(\mathbf{x}),\cdots {)}^T\end{array}$$

得到两个特征空间上的内积为：

<Φ(x),Φ(y)>H=<K(x,⋅),K(y,⋅)>H=K(x,y)(22)$$\begin{array}{}\text{(22)}& <\mathbf{\Phi }(\mathbf{x}),\mathbf{\Phi }(\mathbf{y}){>}_{\mathcal{H}}=<K(\mathbf{x},\cdot ),K(\mathbf{y},\cdot ){>}_{\mathcal{H}}=K(\mathbf{x},\mathbf{y})\end{array}$$

这就是核计巧(kernel trick)

总结

参考文献

1. http://blog.pluskid.org/?p=723
2. http://www.fanyeong.com/2017/11/13/linear-space-to-rkhs/
3. http://heimingx.cn/2016/05/24/reproducing-kernel-hilbert-spaces/
4. http://sadeepj.blogspot.hk/ （需要梯子）
5. https://www.zhihu.com/question/19967778
6. http://blog.csdn.net/haolexiao/article/details/72171523
7. http://open.163.com/movie/2013/3/T/0/M8PTB0GHI_M8PTBUHT0.html （上交大公开课）