LDA(Fisher)线性判别分析

LDA(Linear Discriminant Analysis)是一种经典的线性判别方法，又称Fisher判别分析。该方法思想比较简单:给定训练集样例，设法将样例投影到一维的直线上，使得同类样例的投影点尽可能接近和密集（即希望类内离散度越小越好），异类投影点尽可能远离（即希望两类的均值点之差越小越好）

两类数据点的类心分别是$\mu_{1}=\frac{1}{|C_{1}|}\sum_{x\in C_{1}}x和\mu_{2}=\frac{1}{|C_{2}|}\sum_{x\in C_{2}}x$μ1​=∣C1​∣1​x∈C1​∑​x和μ2​=∣C2​∣1​x∈C2​∑​x。
样本点$x$x投影到$w$w方向上后，在一维直线上得到的点为：$y=w^{T}x$y=wTx。
投影后的类心为：$m_{k}=\frac{1}{|C_{k}|}\sum_{x\in C_{k}}w^{T}x=w^{T}\frac{1}{|C_{k}|}\sum_{x\in C_{k}}x=w^{T}\mu_{k}$mk​=∣Ck​∣1​x∈Ck​∑​wTx=wT∣Ck​∣1​x∈Ck​∑​x=wTμk​
类心间距为:$(m_{1}-m_{2})^{2}=(m_{1}-m_{2})(m_{1}-m_{2})^{T}\\ =w^{T}(\mu_{1}-\mu_{2})(\mu_{1}-\mu_{2})^{T}w=w^{T}S_{b}w\\$(m1​−m2​)2=(m1​−m2​)(m1​−m2​)T=wT(μ1​−μ2​)(μ1​−μ2​)Tw=wTSb​w
其中$S_{b}$Sb​称为类间散度矩阵：$S_{b}=(\mu_{1}-\mu_{2})(\mu_{1}-\mu_{2})^{T}$Sb​=(μ1​−μ2​)(μ1​−μ2​)T
类内距离用类内样本的方差来衡量,对于第$k$k个类别，方差为$S_{k}=\sum_{x\in C_{k}}(y-m_{k})^{2}=\sum_{x\in C_{k}}(w^T({x}-\mu_{k}))^{2}\\ =\sum_{x\in C_{k}}(w^T({x}-\mu_{k}))(w^T({x}-\mu_{k}))^{T}\\ =\sum_{x\in C_{k}}(w^T({x}-\mu_{k})(x-\mu_{k})^{T}w)\\ =w^T[\sum_{x\in C_{k}}({x}-\mu_{k})(x-\mu_{k})^{T}]w$Sk​=x∈Ck​∑​(y−mk​)2=x∈Ck​∑​(wT(x−μk​))2=x∈Ck​∑​(wT(x−μk​))(wT(x−μk​))T=x∈Ck​∑​(wT(x−μk​)(x−μk​)Tw)=wT[x∈Ck​∑​(x−μk​)(x−μk​)T]w
所有类别类内距离之和为：$S_{1}^{2}+S_{2}^{2}\\=w^T[\sum_{x\in C_{1}}({x}-\mu_{1})(x-\mu_{1})^{T}+\sum_{x\in C_{2}}({x}-\mu_{2})(x-\mu_{2})^{T}]w$S12​+S22​=wT[x∈C1​∑​(x−μ1​)(x−μ1​)T+x∈C2​∑​(x−μ2​)(x−μ2​)T]w
所以类内散度矩阵为：$S_{w}=\sum_{x\in C_{1}}({x}-\mu_{1})(x-\mu_{1})^{T}+\sum_{x\in C_{2}}({x}-\mu_{2})(x-\mu_{2})^{T}$Sw​=x∈C1​∑​(x−μ1​)(x−μ1​)T+x∈C2​∑​(x−μ2​)(x−μ2​)T

我们的优化目标是提升类间距离，减小类内距离，所以可最大化函数：$J(w)=\frac{(m_{1}-m_{2})^{2}}{S_{1}^{2}+S_{2}^{2}}=\frac{w^{T}S_{b}w}{w^{T}S_{w}w}$J(w)=S12​+S22​(m1​−m2​)2​=wTSw​wwTSb​w​
从上式可以看出，$J$J与$w$w的方向有关，确定方向后，与$w$w的长度无关。求解过程中，分子分母会同时变化，所以首先固定分母为某一个非0常数，即：$w^{T}S_{w}w=c,c\neq 0$wTSw​w=c,c̸​=0,此时求解$J(w)$J(w)等价于：$\max_{w} w^{T}S_{b}w\\ s.t. \ w^{T}S_{w}w=c,c\neq 0$wmax​wTSb​ws.t. wTSw​w=c,c̸​=0
此时可应用拉格朗日（Lagrange）乘数法：$L(w,\lambda)=w^{T}S_{b}w-\lambda(w^{T}S_{w}w-c)$L(w,λ)=wTSb​w−λ(wTSw​w−c)
$\frac{\partial L(w,\lambda)}{\partial w}=(S_{b}+S_{b}^{T})w-\lambda(S_{w}+S_{w}^{T})w\\ =2S_{b}w-2\lambda S_{w}w=0$∂w∂L(w,λ)​=(Sb​+SbT​)w−λ(Sw​+SwT​)w=2Sb​w−2λSw​w=0
化简可得：
$S_{w}^{-1}S_{b}w=\lambda w$Sw−1​Sb​w=λw
$S_{b}w=(\mu_{1}-\mu_{2})(\mu_{1}-\mu_{2})^{T}w=\beta(\mu_{1}-\mu_{2})$Sb​w=(μ1​−μ2​)(μ1​−μ2​)Tw=β(μ1​−μ2​)表明$S_{b}w$Sb​w的方向恒为$\mu_{1}-\mu_{2}$μ1​−μ2​,带入上式可得：
$w=\frac{\beta}{\lambda}S_{w}^{-1}(\mu_{1}-\mu_{2})$w=λβ​Sw−1​(μ1​−μ2​)
又因为$w$w只与方向有关，与长度无关，所以上式可以写为：
$w=S_{w}^{-1}(\mu_{1}-\mu_{2})$w=Sw−1​(μ1​−μ2​)
考虑到数值解的稳定性，在实践中通常对$S_{w}$Sw​进行奇异值分解，即$S_{w}=U\Sigma V^{T}$Sw​=UΣVT,然后再由$S_{w}^{-1}=V\Sigma ^{-1}U^{T}$Sw−1​=VΣ−1UT。矩阵的奇异值分解可以参考：https://blog.csdn.net/winycg/article/details/83005881

sklearn实现LDA线性判别：

import numpy as np
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
y = np.array([1, 1, 1, 2, 2, 2])
clf = LinearDiscriminantAnalysis(solver='svd')
clf.fit(X, y)
print(clf.predict([[-0.8, -1]])) # [1]