K-L展开 (Karhunen-Loeve expansion)

K-L变换, 是一种常用的正交变换,用于数据压缩与降维.

---

正交变换是什么意思?

以下面的波形为例:

这个波形是由一个低频(红线)和一个高频(绿线)波形组合而成:

我们希望通过变换将这两种波形分解出来;
正交变换指的是,当我们希望分析出某种频率的成分,通过正交变换,分析出的成分中不会混杂有其它频率的成分.

---

如何实现正交变换?

假设有一组正交基:

uTiuj=1,i=j

uTiuj=0,i≠j

对任意信号x有

x=∑i=1∞ciui

则实现了正交变换,将x转换为c1,c2......

---

K-L展开?

对于D 维训练样本集(原始特征空间),通过正交变换,将特征空间降到d(d<D) 维的过程,K-L展开对信号的损失最小,即为最佳的正交变换.

设信号x为D 维,那么通过正交变换,我们希望只找到其中最重要的d个c, 而把其它的丢掉

x^=∑i=1dciui

为了保证信号损失最小即

x^=argminuiE∥x−x^∥2

经过具体计算

从而需要解决优化问题

x^=argminuiξ

s.t.

uTiuj=1,i=j

uTiuj=0,i≠j

记A=E(xxT), 则正交基ui满足

Aui=λiui

也就是说ui是A的特征向量, 所以我们取前d个最大的特征值对应的特征向量进行展开即可.

这个过程与主成分分析-PCA很相似.

---

K-L展开的性质?

变换后的特征不相关

E(ci,cj)=E[uTixxTuj]=λiδij

---

任意x 都可以进行正交变换吗?

是的,对任意内积空间中的x都可以进行正交变换.
关于内积空间参考再生核希尔伯特空间1—希尔伯特空间