【机器学习】降维方法(二)----线性判别分析(LDA)

判别分析

首先了解了一下判别分析。
判别分析(Discriminant Analysis)是多元统计中用于判别样本所属类型的一种方法。通过训练已知分类类别的样本集来建立判别准则，然后用于判别新的预测样本的类别。

常用的判别分析方法有：

1.最大似然法：其基本思想为，通过训练样本集求出各种组合情况下该样本被分为任何一类的概率，确定参数。对于新样本的类别判别，只需要计算它被分到每一类中去的条件概率（似然值），选择概率最大的那一类为其分类。
回忆前面的朴素贝叶斯和逻辑回归的参数估计，都用到了最大似然的思想。$回忆前面的朴素贝叶斯和逻辑回归的参数估计，都用到了最大似然的思想。$
2.距离判别法：其基本思想是，由训练样本集得出每个分类的重心坐标，然后对待预测样本求出它们离各个类别重心的距离远近，从而归入离得最近的类。
和k均值的思路很像，不过k均值是聚类方法，它的训练样本集的分类类别$和k均值的思路很像，不过k均值是聚类方法，它的训练样本集的分类类别$
未知，k就是我们需要设定的样本类别个数$未知，k就是我们需要设定的样本类别个数$
3.Bayes判别法：其基本思想和最大似然法类似，不过最大似然法确定的是参数(点估计)，而贝叶斯会考虑到先验概率，且确定的是参数的分布(分布估计)。
4.Fisher判别法：也就是线性判别分析(LDA)，其基本思路就是投影。将原来在R维空间的样本投影到维度较低的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差尽可能大。
让我想起了一句话，低耦合高内聚hhh$让我想起了一句话，低耦合高内聚hhh$
当分类只有两种且总体服从多元正态分布条件下，距离判别、Bayes判别与Fisher判别是等价的。

线性判别分析(LDA)

线性判别分析(Linear Discriminant Analysis)是一种经典的线性学习方法，是一种监督学习方法。将原来在R维空间的样本投影到维度较低的D维空间去，然后在D维空间中再进行分类。投影的原则是使得每一类的差异尽可能小，而不同类间投影的离差尽可能大。如下图(二分类二维示意图)：

图中紫色点为0类样本，黄色点为1类样本，蓝色点为0类样本投影点均值，红色为1类样本投影点均值。
给定训练数据集D={(x1,y1),(x2,y2),...,(xm,ym)}$D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}$，xi∈{x(1)i,x(2)i,...,x(n)i}$x_i\in \{x_i^{(1)},x_i^{(2)},...,x_i^{(n)}\}$，yi∈{0,1}$y_i\in \{0,1\}$，Xi$X_i$表示属于第i$i$类的样本的集合。

二分类问题：

此处我们讨论的是二分类问题$此处我们讨论的是二分类问题$
0类样本均值μ0${\mu }_0$:
μ0=1k0∑x∈X0xi${\mu }_0=\frac{1}{k_0}\sum _{x\in X_0}{x}_i$，k0$k_0$为0类的样本数量。
投影后为：wTμ0$投影后为：w^T{\mu }_0$

1类样本均值μ1${\mu }_1$:
μ1=1k1∑x∈X1xi${\mu }_1=\frac{1}{k_1}\sum _{x\in X_1}{x}_i$，k1$k_1$为1类的样本数量。
投影后为：wTμ1$投影后为：w^T{\mu }_1$

0类样本协方差矩阵∑0$\sum _0$:
∑0=∑x∈X0(xi−μ0)(xi−μ0)T$\sum _0=\sum _{x\in X_0}(x_i-{\mu }_0)(x_i-{\mu }_0{)}^T$
投影后为：wT∑0w$投影后为：w^T\sum _{0}w$

1类样本协方差矩阵∑1$\sum _1$:
∑1=∑x∈X1(xi−μ1)(xi−μ1)T$\sum _1=\sum _{x\in X_1}(x_i-{\mu }_1)(x_i-{\mu }_1{)}^T$
投影后为：wT∑1w$投影后为：w^T\sum _{1}w$

类的协方差矩阵越小，表示这个类中的样本越聚集于这个类的均值点。我们希望这些同类样本的投影点尽可能的近，即wT∑0w+wT∑1w$w^T\sum _{0}w+w^T\sum _{1}w$尽可能的小。
类内散度矩阵：Sw=∑0+∑1$类内散度矩阵：S_w=\sum _0+\sum _1$
对于类的均值的投影点，我们用||wTμ0−wTμ1||22$||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$表示它们之间的距离。我们希望这个距离尽可能的大。
类间散度矩阵：Sb=(μ0−μ1)(μ0−μ1)T$类间散度矩阵：S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$
同时考虑这两者，我们希望最大化J(w)$J(w)$
J(w)=||wTμ0−wTμ1||22wT∑0w+wT∑1w=wT(μ0−μ1)(μ0−μ1)TwwT(∑0+∑1)w=wTSbwwTSww$J(w)=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T\sum _{0}w+w^T\sum _{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T(\sum _0+\sum _1)w}=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$
为了解这个公式，需要观察这个式子，可以发现上下都有w$w$的二次项，因此J(w)$J(w)$的解与w$w$的长度无关(即||w||$||w||$被上下抵消，不会影响J(w)$J(w)$的解，但是w的方向会影响到J(w)$J(w)$)
对于J(w)$J(w)$分子分母都可以取任意值(比如若w$w$是一个解，则对于任意常数α，αw也是解)，这样会得到无穷个解，因此我们限制wTSww=1$w^T{S}_{w}w=1$，则最大化J(w)$J(w)$转换为了这样一个问题：
　　　　maxw　wTSbw$\underset{w}{max} w^T{S}_{b}w$
　　　　s.t.　wTSww=1$s.t. w^T{S}_{w}w=1$
等价于：
　　　　minw　−wTSbw$\underset{w}{min} -w^T{S}_{b}w$
　　　　s.t.　wTSww=1$s.t. w^T{S}_{w}w=1$
对于这种问题，似曾相识，可以用拉格朗日乘子法将约束项和优化问题放在一个式子内，令L(w,λ)=−wTSbw+λ(wTSww−1)$L(w,\lambda )=-w^T{S}_{b}w+\lambda (w^T{S}_{w}w-1)$
求导令∂L(w,λ)∂w=−2Sbw+2λSww=0$\frac{\mathrm{\partial }L(w,\lambda )}{\mathrm{\partial }w}=-2S_{b}w+2\lambda S_{w}w=0$
得λSww=Sbw$\lambda S_{w}w=S_{b}w$，由于Sbw$S_{b}w$的方向恒为μ0−μ1${\mu }_0-{\mu }_1$，所以可以写为Sbw=β(μ0−μ1)=λ(μ0−μ1)$S_{b}w=\beta ({\mu }_0-{\mu }_1)=\lambda ({\mu }_0-{\mu }_1)$
(μ0−μ1)Tw是标量，因此Sbw=(μ0−μ1)(μ0−μ1)Tw$({\mu }_0-{\mu }_1{)}^{T}w是标量，因此S_{b}w=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w$
=β(μ0−μ1)，又由于若w是一个解，则对于任意常数α，$=\beta ({\mu }_0-{\mu }_1)，又由于若w是一个解，则对于任意常数\alpha ，$
αw也是解，因此Sbw=λβSbw=λ(μ0−μ1)$\alpha w也是解，因此S_{b}w=\frac{\lambda }{\beta }{S}_{b}w=\lambda ({\mu }_0-{\mu }_1)$
因此可得λSww=λ(μ0−μ1)$\lambda S_{w}w=\lambda ({\mu }_0-{\mu }_1)$，w=S−1w(μ0−μ1)$w=S_w^{-1}({\mu }_0-{\mu }_1)$，然后再对Sw$S_w$进行奇异值分解，得出S−1w$S_w^{-1}$

多分类问题：

将LDA推广到多分类问题。假设存在N个类，第i$i$个类的样本数为mi$m_i$，所有样本数为m$m$。
全部样本均值μ$\mu$：
μ=1m∑i=1mxi$\mu =\frac{1}{m}\sum _{i=1}^m{x}_i$
第i个类的样本均值μi${\mu }_i$：
μi=1mi∑x∈Xix${\mu }_i=\frac{1}{m_i}\sum _{x\in X_i}x$
全局散度矩阵St$S_t$：
St=Sb+Sw=∑i=1m(xi−μ)(xi−μ)T$S_t=S_b+S_w=\sum _{i=1}^m(x_i-\mu )(x_i-\mu {)}^T$
也就是对所有的样本点求协方差得到一个协方差矩阵$也就是对所有的样本点求协方差得到一个协方差矩阵$
第i个类的散度矩阵Swi$S_{wi}$：
Swi=∑x∈Xi(x−μi)(x−μi)T$S_{wi}=\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$
类内散度矩阵Sw$S_w$：
Sw=∑i=1NSwi$S_w=\sum _{i=1}^N{S}_{wi}$
也就是所有类别的散度矩阵(协方差矩阵)之和$也就是所有类别的散度矩阵(协方差矩阵)之和$
类间散度矩阵Sb$S_b$：
Sb=St−Sw=∑i=1Nmi(μi−μ)(μi−μ)T$S_b=S_t-S_w=\sum _{i=1}^N{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$
推导如下：
Sb=St−Sw$S_b=S_t-S_w$
=∑i=1m(xi−μ)(xi−μ)T−∑i=1N∑x∈Xi(x−μi)(x−μi)T$=\sum _{i=1}^m(x_i-\mu )(x_i-\mu {)}^T-\sum _{i=1}^N\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$
=∑i=1N∑x∈Xi(x−μ)(x−μ)T−∑i=1N∑x∈Xi(x−μi)(x−μi)T$=\sum _{i=1}^N\sum _{x\in X_i}(x-\mu )(x-\mu {)}^T-\sum _{i=1}^N\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$
=∑i=1N∑x∈Xi[(x−μ)(x−μ)T−(x−μi)(x−μi)T]$=\sum _{i=1}^N\sum _{x\in X_i}[(x-\mu )(x-\mu {)}^T-(x-{\mu }_i)(x-{\mu }_i{)}^T]$
=∑i=1N∑x∈Xi[(x−μ)(xT−μT)−(x−μi)(xT−μTi)]$=\sum _{i=1}^N\sum _{x\in X_i}[(x-\mu )(x^T-{\mu }^T)-(x-{\mu }_i)(x^T-{\mu }_i^T)]$
=∑i=1N∑x∈Xi(xxT−μxT−xμT+μμT−xxT+μixT+xμTi−μiμTi)$=\sum _{i=1}^N\sum _{x\in X_i}(x{x}^T-\mu x^T-x{\mu }^T+\mu {\mu }^T-x{x}^T+{\mu }_i{x}^T+x{\mu }_i^T-{\mu }_i{\mu }_i^T)$
=∑i=1N∑x∈Xi[(μi−μ)xT+(μTi−μT)x+μμT−μiμTi]$=\sum _{i=1}^N\sum _{x\in X_i}[({\mu }_i-\mu )x^T+({\mu }_i^T-{\mu }^T)x+\mu {\mu }^T-{\mu }_i{\mu }_i^T]$
因为μi=1mi∑x∈Xix，所以∑x∈Xix=miμi$因为{\mu }_i=\frac{1}{m_i}\sum _{x\in X_i}x，所以\sum _{x\in X_i}x=m_i{\mu }_i$
=∑i=1N[(μi−μ)miμTi+(μTi−μT)miμi+miμμT−miμiμTi]$=\sum _{i=1}^N[({\mu }_i-\mu )m_i{\mu }_i^T+({\mu }_i^T-{\mu }^T)m_i{\mu }_i+m_i\mu {\mu }^T-m_i{\mu }_i{\mu }_i^T]$
=∑i=1N[mi(μiμTi−μμTi+μTiμi−μTμi+μμT−μiμTi)]$=\sum _{i=1}^N[m_i({\mu }_i{\mu }_i^T-\mu {\mu }_i^T+{\mu }_i^T{\mu }_i-{\mu }^T{\mu }_i+\mu {\mu }^T-{\mu }_i{\mu }_i^T)]$
=∑i=1N[mi(−μμTi+μTiμi−μTμi+μμT)]$=\sum _{i=1}^N[m_i(-\mu {\mu }_i^T+{\mu }_i^T{\mu }_i-{\mu }^T{\mu }_i+\mu {\mu }^T)]$
=∑i=1N[mi(μi−μ)(μi−μ)T]$=\sum _{i=1}^N[m_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T]$

由上我们可以看出，任意求得St$S_t$、Sw$S_w$、Sb$S_b$三者中任意两个都可以根据得到的两个求出第三个。

常见实现方法如下，优化目标为(找到W$W$使得WTSbW$W^T{S}_{b}W$的迹与WTSwW$W^T{S}_{w}W$的迹之商最大)：
　　　maxWtr(WTSbW)tr(WTSwW)=∏i=1kwTiSbwi∏i=1kwTiSwwi$\underset{W}{max}\frac{tr(W^T{S}_{b}W)}{tr(W^T{S}_{w}W)}=\frac{\prod _{i=1}^k{w}_i^T{S}_b{w}_i}{\prod _{i=1}^k{w}_i^T{S}_w{w}_i}$
其中W∈Rk×(N−1)$W\in {\mathbb{R}}^{k\times (N-1)}$
这里用迹是因为WTSbW和WTSwW是矩阵不是标量$这里用迹是因为W^T{S}_{b}W和W^T{S}_{w}W是矩阵不是标量$
求解W$W$，W$W$的闭式解就是S−1wSb$S_w^{-1}{S}_b$的前k$k$个最大非零广义特征值所对应的特征向量组成的矩阵，k≤N−1$k\le N-1$
也就是对S−1wSb进行特征值分解，找到前k个最大的特征值$也就是对S_w^{-1}{S}_b进行特征值分解，找到前k个最大的特征值$

可以将W$W$视为一个投影矩阵，则多分类LDA将样本投影到k$k$维空间，且在投影过程中使用了类别信息(PCA在投影过程中并未考虑类别信息)

LDA优缺点：

LDA算法的主要优点有：
1.在降维过程中可以使用类别的先验知识经验；
2.LDA在样本分类信息依赖均值而不是方差的时候，降维效果较好。

LDA算法的主要缺点有：
1.LDA不适合对非高斯分布样本进行降维；
2.LDA降维最多降到类别数k-1的维数，如果我们降维的维度大于k-1，则不能使用LDA；
3.LDA在样本分类信息依赖方差而不是均值的时候，降维效果不好；
4.LDA可能过度拟合数据。

参考：
1.《机器学习》3.4线性判别分析—-周志华
2. http://blog.jobbole.com/88195/
3. http://www.cnblogs.com/pinard/p/6244265.html