数据降维之LDA&PCA

数据降维之LDA&PCA

我们都知道机器学习算法的性能受到样本数据的特征维数的影响，特征维数越多，需要的训练数据也越大，机器学习算法所消耗的时间也越多，甚至成指数爆炸增长。同时过多的特征维数之间也可能存在相互关联的特征和一些噪声。因此，在训练机器学习算法之前，通常我们会对样本数据进行预处理，数据降维就是通常需要完成的一步。

线性判别分析（LDA）

线性判别分析属于有监督学习算法，也就是对于每一个给定的n维样本x(i)(x(i)1,x(i)2,...,x(i)n)$x^{(i)}(x_1^{(i)},x_2^{(i)},...,x_n^{(i)})$都有一个与之对应的期望值或者类别标签y(i)$y^{(i)}$。LDA的思想非常朴素：将带上标签数据(点)，通过投影(变换)的方法，投影更低维的空间。在这个低维空间中，同类样本尽可能接近，异类样本尽可能远离。

我们从最简单的二分类问题入手。假设原始样本的特征维数只有二维(x1,x2$x_1,x_2$)，现在我们希望将二维特征用一维表示，也就是将二维平面上的点投影到一条直线上，如下图所示：

从上图可以看出，右边直线在数据降维后的效果要比左边直线更优，因为它更加满足降维后的同类数据尽可能接近，异类数据尽可能远离的目标。LDA算法的目标就是找到这么一条直线。

我们知道矩阵的本质是一个线性映射。因此对于二分类问题，原始二维平面点经过映射后的可以表示成：

y=wTx$$y=w^{T}x$$

其中w$w$为投影矩阵，当投影到一维直线时，这个矩阵退化为一个列向量；y$y$表示x$x$投影到直线后的点到原点的距离。

欲使同类样本的投影点尽可能接近，可以让同类样本的投影点的协方差尽可能小；而欲使异类样本的投影点尽可能远离，可以让异类样本的类中心之间的距离尽可能大。令μi${\mu }_i$和∑i$\sum _i$分别表示第i∈{0,1}$i\in \{0,1\}$原始样本的均值向量和协方差矩阵。
投影后的类中心可以表示为：

1Ni∑wTx=wTμi$$\frac{1}{N_i}\sum w^{T}x=w^T{\mu }_i$$

投影后的协方差可以表示为：

(wTxi−wTμi)(wTxi−wTμi)T=wT(xi−μi)[wT(xi−μi)]T=wT(xi−μi)(xi−μi)Tw=wT∑iw$$\begin{gathered} (w^T{x}_i-w^T{\mu }_i)(w^T{x}_i-w^T{\mu }_i{)}^T \\ =w^T(x_i-{\mu }_i)[w^T(x_i-{\mu }_i){]}^T \\ =w^T(x_i-{\mu }_i)(x_i-{\mu }_i{)}^{T}w \\ =w^T\sum _{i}w \end{gathered}$$

因此欲达到上述目的，等价于最大化目标

J==||wTμ0−wTμ1||22wT∑0w+wT∑1wwT(μ0−μ1)(μ0−μ1)TwwT(∑0+∑1)w(175)(176)$$\begin{array}{}\text{(175)}& J& =& \frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T\sum _{0}w+w^T\sum _{1}w}\text{(176)}& & =& \frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T(\sum _0+\sum _1)w}\end{array}$$

定义“类内散度矩阵”

Sw=∑0+∑1=∑x∈X0(x−μ0)(x−μ0)T+∑x∈X1(x−μ1)(x−μ1)T$$S_w={\sum }_0+{\sum }_1=\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$$

定义“类间散度矩阵”

Sb=(μ0−μ1)(μ0−μ1)T$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$$

则上面的目标函数可以重写为

J=wTSbwwTSww$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$

因为分子分母都是关于w$w$的二次型，若w$w$是一个解，则对任意常数α$\alpha$，αw$\alpha w$也是一个解。因此解与w$w$的长度无关，只与其方向有关。不妨令wTSww=1$w^T{S}_{w}w=1$，则最优化目标等价于

minws.t.−wTSbwwTSww=1(177)(178)$$\begin{array}{}\text{(177)}& & \underset{w}{min}& -w^T{S}_{b}w\text{(178)}& & s.t.& w^T{S}_{w}w=1\end{array}$$

引入拉格朗日乘子，上式等价于

minc(w)=−wTSbw+λ(wTSww−1)(179)$$\begin{array}{}\text{(179)}& & min& c(w)=-w^T{S}_{b}w+\lambda (w^T{S}_{w}w-1)\end{array}$$

求导得

dcdw=−2Sbw+2λSww$$\frac{dc}{dw}=-2S_{b}w+2\lambda S_{w}w$$

令其等于0，得

Sbw=λSww$$S_{b}w=\lambda S_{w}w$$

如果Sw$S_w$可逆，等式两边同乘S−1w$S_w^{-1}$有

S−1wSbw=λw$$S_w^{-1}{S}_{b}w=\lambda w$$

可喜的发现w$w$就是矩阵S−1wSb$S_w^{-1}{S}_b$的特征向量，因此求解问题转化成求矩阵特征值问题上了，首先求出S−1wSb$S_w^{-1}{S}_b$的特征值，然后取前K个特征向量按列组成w$w$矩阵即可。
可以将二分类任务推广到多分类任务中，这时不再是将样本点投影到一条直线上，而是投影到一个d$d$维超平面上。此时的基向量(w1,w2,...,wd)$(w_1,w_2,...,w_d)$按列构成了投影矩阵。假定存在C个类别，且第i$i$类样本数为mi$m_i$，前面二分类问题中定义的“类间散度矩阵”需要重新定义为每类样本中心相对于全局样本中心点的散列情况。
所以Sb$S_b$表示如下：

Sb=∑i=1Cmi(μi−μ)(μi−μ)T$$S_b=\sum _{i=1}^C{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$

“类内散度矩阵”的定义不变

Sw=∑x∈Xi(x−μi)(x−μi)T$$S_w=\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$$

所以优化目标同样可以写成

maxWWTSbWWTSwW$$\underset{W}{max}\frac{W^T{S}_{b}W}{W^T{S}_{w}W}$$

由于现在分子分母都是矩阵，要将矩阵变成实数，可以取矩阵的行列式或者矩阵的迹。其中，矩阵的行列式等于矩阵特征值之积，矩阵的迹等于矩阵特征值之和。所以优化目标可以转化为：

maxWtr(WTSbW)tr(WTSwW)ormaxW|WTSbW||WTSwW|$$\begin{gathered} \underset{W}{max}\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)} \\ or \\ \underset{W}{max}\frac{|W^T{S}_{b}W|}{|W^T{S}_{w}W|} \end{gathered}$$

可以通过如下广义特征值求解：

SbW=λSwW$$S_{b}W=\lambda S_{w}W$$

W的解则是S−1wSb$S_w^{-1}{S}_b$的N-1个最大广义特征值所对应的特征向量按列组成的矩阵。

总结LDA算法流程如下：
输入：样本数据集D={xi,yi}mi=1$\{x_i,y_i{\}}_{i=1}^m$，yi∈{C1,C2,...,CK}$y_i\in \{C_1,C_2,...,C_K\}$。降维到的维数d$d$。
输出：降维后的样本数据

• 计算类内散度矩阵Sw$S_w$。
• 计算类间散度矩阵Sw$S_w$。
• 计算矩阵S−1wSb$S_w^{-1}{S}_b$。
• 计算矩阵S−1wSb$S_w^{-1}{S}_b$最大的d$d$个特征值对应的特征向量，按列组成投影矩阵W$W$。
• 对样本集中的每一个样本xi$x_i$计算投影后的坐标，zi=WTxi$z_i=W^T{x}_i$。

主成分分析（PCA）

主成分分析(PCA)是另一种常用的数据降维方法，它属于无监督学习算法，即在算法训练时，我们不需要知道样本对应的类别。
同样的，我们从将二维数据降维到一维入手。假设现在我们有五条样本数据如下(已经过均值化为0处理)：

(−1−2−10002101)$$\left(\begin{array}{ccccc}-1& -1& 0& 2& 0\\ -2& 0& 0& 1& 1\end{array}\right)$$

将这五个点表示在二维坐标系下如图所示：

现在我们想将这五个点投影到一条直线上，可以看到无论是选择x$x$轴还是y$y$轴，都存在部分点投影后重合的情况，这不是我们想要的结果，因为这相当于损失了部分数据点的信息；如果选择过原点的一三象限对角线，投影后的五个点将不再会重合，这是我们想要的结果。总结来说，我们希望样本点在每一维上的投影点尽可能分散。这种分散程度可以用方差来度量。

现在考虑多维情形，首先我们选择投影后方差最大的方向为第一个方向，接下来要进行其他方向的选择，显然不能继续选取方差最大的方向，因为这样选择的方向必将几乎和第一个方向重合。想想降维的目标：在信息不丢失的情况下，尽可能去除一些存在相关性的字段，方差最大已经保证了尽可能保留原始信息，那怎样才能去除存在相关性的字段呢？反过来就是，我们希望降维后的各字段都不存在相关性，而协方差正是用来度量两个随机变量相关性的参数，协方差为0的两个随机变量称为不相关。
至此我们得到了PCA的目标：将一组n$n$维向量降为k$k$维(0<k<n$0<k<n$)，其目标是选择k$k$个单位正交基，使得原始数据在变换到这组基上后，各字段两两协方差为0，而各字段的方差尽可能大。
那怎么用数学方法来表示我们的优化目标呢？设我们有m$m$个n$n$维样本数据(已经过均值化为0处理)，将其按列排成n∗m$n\ast m$的矩阵X$X$

X=(a1b1a2b2a3b3a4b4a5b5)$$X=\left(\begin{array}{ccccc}{a}_1& a_2& a_3& a_4& a_5\\ b_1& b_2& b_3& b_4& b_5\end{array}\right)$$

设C=1mXXT$C=\frac{1}{m}X{X}^T$

C=(1m∑mi=1a2i1m∑mi=1biai1m∑mi=1aibi1m∑mi=1b2i)$$C=\left(\begin{array}{cc}\frac{1}{m}\sum _{i=1}^m{a}_i^2& \frac{1}{m}\sum _{i=1}^m{a}_i{b}_i\\ \frac{1}{m}\sum _{i=1}^m{b}_i{a}_i& \frac{1}{m}\sum _{i=1}^m{b}_i^2\end{array}\right)$$

可以发现C是一个对称矩阵，其对角线上的元素就是各字段的方差，第i$i$行j$j$列的元素和第j$j$行i$i$列的元素相同，表示i$i$和j$j$两个字段的协方差。现在我们可喜的发现，需要优化的目标已经统一到一个矩阵中，这个矩阵称为协方差矩阵。因此我们希望降维后的数据点的协方差矩阵是对角矩阵并取前k$k$大的。
设原始样本数据形成的矩阵为X$X$
则原始样本数据形成的协矩阵为C=1mXXT$C=\frac{1}{m}X{X}^T$
设W$W$是一组正交基(w1,w2,...,wk)$(w_1,w_2,...,w_k)$按列形成的矩阵
则降维后的数据点形成的矩阵为Y=WTX$Y=W^{T}X$
则降维后的数据点形成的协矩阵为

D====1mYYT1mWTX(WTX)T1mWTXXTWWTCW(232)(233)(234)(235)$$\begin{array}{}\text{(232)}& D& =& \frac{1}{m}Y{Y}^T\text{(233)}& & =& \frac{1}{m}{W}^{T}X(W^{T}X{)}^T\text{(234)}& & =& \frac{1}{m}{W}^{T}X{X}^{T}W\text{(235)}& & =& W^{T}CW\end{array}$$

因此，优化目标变为寻找一个矩阵W$W$，满足WTCW$W^{T}CW$是对角矩阵。
由上文知，原始数据矩阵的协方差矩阵C$C$是一个对称矩阵，因此具有如下两条性质：

• 实对称矩阵不同特征值对应的特征向量必然正交
• 设特征向量λ重数为r，则必然存在r个线性无关的特征向量对应λ，因此可以将这r个特征向量单位正交化

因此一个n$n$行n$n$列的实对称矩阵一定可以找到n$n$个单位正交特征向量，设这n个特征向量为e1,22,...,en$e_1,2_2,...,e_n$，将其按列组成矩阵：

E=(e1,22,...,en)$$E=(e_1,2_2,...,e_n)$$

则对协方差矩阵C$C$有如下结论：

ETCE=Λ=⎛⎝⎜⎜λ1⋱λn⎞⎠⎟⎟$$E^{T}CE=\mathrm{\Lambda }=\left(\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_n\end{array}\right)$$

所以我们要找的W$W$就是原始数据矩阵的协方差矩阵C$C$的前K$K$大的特征值对应的特征向量按列组成的矩阵。

PCA算法步骤总结如下：

• 将原始样本数据按列排成矩阵X$X$。
• 将X$X$的每一行(代表一个属性字段)进行0均值化处理。
• 求出协方差矩阵C=1mXXT$C=\frac{1}{m}X{X}^T$的特征值及对应的特征向量。
• 将特征向量对应特征值从大到小按列排列，取前k$k$列组成矩阵W$W$。
• Y=WTX$Y=W^{T}X$即为降维后的数据。

参考文献

线性判别分析（Linear Discriminant Analysis）
线性判别分析LDA原理总结
PCA的数学原理