深度学习笔记之主成分分析

1. Definitions（定义）

主成分分析（principal components analysis, PCA）简称PCA，是一种广泛应用于数据降维（data dimensionality reduction）、有损数据压缩（lossy data compression）、特征提取（feature extraction）以及数据可视化等的一种技术，也被称为Karhunen-Lo`eve变换。

关于PCA的定义主要有两种：

• PCA是一种将数据投影到低维线性空间（principal subspace，主成子空间）使得投影之后的差异最大的正交投影。
• PCA是一种最小化平均投影成本（average projection cost），投影点与数据点之间的均方距离最小，即数据损失精度最小。

2. Example （例子）

我们通过一个有损压缩的例子来介绍PCA。假设我们有m$m$个数据点{x(1),⋯,x(m)}$\left\{{\mathit{x}}^{(1)},\cdots ,{\mathit{x}}^{(m)}\right\}$，其中数据维度为x(1)∈Rn${\mathit{x}}^{(1)}\in {\mathbb{R}}^n$。因此，存储这些数据，需要m×n$m\times n$个单元。为了节省存储单元，我们考虑有损压缩。有损压缩，意味着我们可以用较少的存储单元储存数据，当然，这会损失些精度。因此我们要尽量的减少精度的损失。

我们将这些数据压缩成低维数据，即每一个x(i)∈Rn${\mathit{x}}^{(i)}\in {\mathbb{R}}^n$都可以找到一个对应的c∈Rl,(n≫l)$\mathit{c}\in {\mathbb{R}}^l,(n\gg l)$。这里，我们用映射f:Rn→Rl$f:{\mathbb{R}}^n\to {\mathbb{R}}^l$来表示，即f(x)=c$f(\mathit{x})=\mathit{c}$。对应的解压缩，我们用函数g:Rl→Rn$\text{g}:{\mathbb{R}}^l\to {\mathbb{R}}^n$来表示，即x^=g(f(x))$\hat{\mathit{x}}=\text{g}(f(\mathit{x}))$。

为了解压缩尽量简单，我们限制解压缩是经过一个线性变换矩阵D$\mathit{D}$来完成，则解压缩信号表示为g(c)=Dc$\text{g}(c)=\mathit{D}\mathit{c}$。这里，我们限制矩阵D$\mathit{D}$是列正交矩阵（矩阵中列两两正交）。一般来说，增大D$\mathit{D}$的能量，需要降低c$\mathit{c}$的能量，因此，我们对D$\mathit{D}$进行归一化处理（归一化与未归一化大部分情况的结果是相等的，但也存在一些情况下归一化的情况更好，因此通常我们会对D$\mathit{D}$进行归一化处理）。

我们从矩阵乘法的角度来理解x=Dc$\mathit{x}=\mathit{D}\mathit{c}$。通常，我们理解矩阵乘法从图的左图出发，但一般不会考虑右图的理解方式。这里，我们从右图的理解方式出发。由于D$\mathit{D}$是列正交的，因此{di}i∈[l]${\left\{{\mathit{d}}_i\right\}}_{i\in [l]}$张成了一个l$l$空间，而{di}i∈[l]${\left\{{\mathit{d}}_i\right\}}_{i\in [l]}$则是这个Rl${\mathbb{R}}^l$空间的一组完备正交基。x$\mathit{x}$在基di${\mathit{d}}_i$上的投影即为ci$c_i$。我们用{di}i∈[l]${\left\{{\mathit{d}}_i\right\}}_{i\in [l]}$线性表出x$\mathit{x}$。

x=∑i∈[l]cidi(3)$$\begin{array}{}\text{(3)}& \mathit{x}=\sum _{i\in [l]}{c}_i{\mathit{d}}_i\end{array}$$

为了使得解压之后的数据损失尽可能少的精度，我们需要通过使得如下损失函数（也称，代价函数 cost function）最小来得到压缩数据的具体表达式

R=∥x−Dc∥2(4)$$\begin{array}{}\text{(4)}& \mathcal{R}=\Vert \mathit{x}-\mathit{D}\mathit{c}{\Vert }_2\end{array}$$

损失函数是关于c$\mathit{c}$的线性变换(x−Dc)$(\mathit{x}-\mathit{D}\mathit{c})$的范数，因此是convex的（所有的范数均是convex function）。

通过导数工具，有

∂R∂c=∂∂c(xTx−2xTDc+cTDTDc)=(a)∂∂c(xTx−2xTDc+cTc)=−2DTx−2c(5)(6)(7)$$\begin{array}{}\text{(5)}& \frac{\mathrm{\partial }\mathcal{R}}{\mathrm{\partial }\mathit{c}}& =\frac{\mathrm{\partial }}{\mathrm{\partial }\mathit{c}}\left({\mathit{x}}^T\mathit{x}-2{\mathit{x}}^T\mathit{D}\mathit{c}+{\mathit{c}}^T{\mathit{D}}^T\mathit{D}\mathit{c}\right)\text{(6)}& & \stackrel{(a)}{=}\frac{\mathrm{\partial }}{\mathrm{\partial }\mathit{c}}\left({\mathit{x}}^T\mathit{x}-2{\mathit{x}}^T\mathit{D}\mathit{c}+{\mathit{c}}^T\mathit{c}\right)\text{(7)}& & =-2{\mathit{D}}^T\mathit{x}-2\mathit{c}\end{array}$$

其中(a)$(a)$成立，由于D$\mathit{D}$是列正交矩阵，因此DTD=Il${\mathit{D}}^T\mathit{D}={\mathbf{I}}_l$。通过令偏导为0，我们找到函数的驻点：c∗=DTx$：{\mathit{c}}^{\ast }={\mathit{D}}^T\mathit{x}$。

给定解压矩阵D$\mathit{D}$，我们从损失精度最小的角度出发，得到了压缩数据的表达式c=DTx$\mathit{c}={\mathit{D}}^T\mathit{x}$，对应解压缩数据为r(x)=DDTx$r(\mathit{x})=\mathit{D}{\mathit{D}}^T\mathit{x}$。为此，我们仍需要确定D$\mathit{D}$的形式。这里，我们仍然从损失精度最小的角度出发

D∗=argminD∥x−DDTx∥s.t.DTD=Il(8)$$\begin{array}{}\text{(8)}& {\mathit{D}}^{\ast }=\underset{\mathit{D}}{\text{arg}min}\Vert \mathit{x}-{\mathit{D}\mathit{D}}^T\mathit{x}\Vert s.t.{\mathit{D}}^T\mathit{D}={\mathbf{I}}_l\end{array}$$

显然，我们要从从这个方程中解出D$\mathit{D}$来是不可能的。

但是，我们是有n$n$个x(i)${\mathit{x}}^{(i)}$数据的，定义X∈Rm×n$\mathit{X}\in {\mathbb{R}}^{m\times n}$，其中Xi:=(x(i))T${\mathit{X}}_{i:}=({\mathit{x}}^{(i)}{)}^T$

D∗=argminD∥XT−DDTXT∥F=argminD∥X−XDDT∥F=argminDTr[(X−XDDT)T(X−XDDT)]=argminDTr(XTX)−Tr(DTXTXD)=argmaxDTr(DTXTXD)(9)(10)(11)(12)(13)$$\begin{array}{}\text{(9)}& {\mathit{D}}^{\ast }& =\underset{\mathit{D}}{\text{arg}min}\Vert {\mathit{X}}^T-\mathit{D}{\mathit{D}}^T{\mathit{X}}^T{\Vert }_F\text{(10)}& & =\underset{\mathit{D}}{\text{arg}min}\Vert \mathit{X}-\mathit{X}\mathit{D}{\mathit{D}}^T{\Vert }_F\text{(11)}& & =\underset{\mathit{D}}{\text{arg}min}\text{Tr}\left[(\mathit{X}-\mathit{X}\mathit{D}{\mathit{D}}^T{)}^T(\mathit{X}-\mathit{X}\mathit{D}{\mathit{D}}^T)\right]\text{(12)}& & =\underset{\mathit{D}}{\text{arg}min}\text{Tr}\left({\mathit{X}}^T\mathit{X}\right)-\text{Tr}({\mathit{D}}^T{\mathit{X}}^T\mathit{X}\mathit{D})\text{(13)}& & =\underset{\mathit{D}}{\text{arg}max}\text{Tr}({\mathit{D}}^T{\mathit{X}}^T\mathit{X}\mathit{D})\end{array}$$

这里D$\mathit{D}$是列正交矩阵，即DTD=Il${\mathit{D}}^T\mathit{D}={\mathbf{I}}_l$。为使Tr(DTXTXD)$\text{Tr}({\mathit{D}}^T{\mathit{X}}^T\mathit{X}\mathit{D})$最大，因此选择XTX${\mathit{X}}^T\mathit{X}$最大的l$l$个特征矢量作为D$\mathit{D}$的列向量。对应地，

XTX[ξ1,⋯,ξl]=[ξ1,⋯,ξl]Diag(λ1,⋯,λl)(14)$$\begin{array}{}\text{(14)}& {\mathit{X}}^T\mathit{X}\left[{\mathit{\xi }}_1,\cdots ,{\mathit{\xi }}_l\right]=\left[{\mathit{\xi }}_1,\cdots ,{\mathit{\xi }}_l\right]\text{Diag}({\lambda }_1,\cdots ,{\lambda }_l)\end{array}$$

其中ξi${\mathit{\xi }}_i$表示最大的l$l$个特征值λi∈[l]${\lambda }_i\in [l]$对应的特征矢量，[l]$[l]$表示最大的l$l$个特征值组成的结合。因此maxTr(DTXTXD)=∑liλi$max\text{Tr}({\mathit{D}}^T{\mathit{X}}^T\mathit{X}\mathit{D})=\sum _i^l{\lambda }_i$。

Remarks:

• 基于上述表述，我们知道矩阵D$\mathit{D}$选择数据矩阵XTX${\mathit{X}}^T\mathit{X}$的最大l$l$个特征值λi∈[l]${\lambda }_i\in [l]$所对应的特征向量ξi${\mathit{\xi }}_i$作为其列，最大程度的保留了矩阵XTX${\mathit{X}}^T\mathit{X}$的能量。
• 这里所得到D=[ξ1,⋯,ξl]$\mathit{D}=\left[{\mathit{\xi }}_1,\cdots ,{\mathit{\xi }}_l\right]$并不是驻点，如果∥XT−DDTXT∥F$\Vert {\mathit{X}}^T-\mathit{D}{\mathit{D}}^T{\mathit{X}}^T{\Vert }_F$对D$\mathit{D}$求偏导，并令偏导为零，得到D=0$\mathit{D}=\mathbf{0}$，显然这并不是最后的计算结果。