局部线性嵌入LLE

[1]https://www.cnblogs.com/pinard/p/6266408.html
[2]Graph Embedding Techniques, Applications, and Performance: A Survey
主要参考和图片来源[1]

• • LLE推导
  • 算法流程

局部线性嵌入(Locally Linear Embedding,LLE)，一种重要降维方法，与PCA、LDA相比，更注重保持样本局部线性特征，常用语图像识别、高维数据可视化等。

数学意义上的流形：一个不闭合曲面，曲面上数据分布均匀，特征比较稠密，流形降维就是把流形从高维到低维的降维过程，并在降维中保留流形高维的特征。

我的理解：数据分布于高维的一个曲面，流行学习就是将这个曲面降维展开表达出来

LLE
LLE假设数据在较小的局部是线性的，即样本x1$x_1$可以由K个近邻样本x2,x3,x4$x_2,x_3,x_4$线性表示

x1=w12x2+w13x3+w14x4$$x_1=w_{12}{x}_2+w_{13}{x}_3+w_{14}{x}_4$$

则希望降维之后依然保持这种线性关系

x′1≈w12x′2+w13x′3+w14x′4$$x_1^{\prime }\approx w_{12}{x}_2^{\prime }+w_{13}{x}_3^{\prime }+w_{14}{x}_4^{\prime }$$

由于只考虑了局部线性关系，所以复杂度低很多

LLE推导

首先设定邻域大小k，然后寻找某个样本与近邻样本的线性关系，即权重系数。
假设有m个n维样本{x1,x2,...,xm}$\{x_1,x_2,...,x_m\}$，则有损失函数

J(w)=∑i=1m‖xi−∑j=1kwijxj‖22$$J(w)=\sum _{i=1}^m\Vert x_i-\sum _{j=1}^k{w}_{ij}{x}_j{\Vert }_2^2$$

对权重系数有归一化限制

∑j=1kwij=1$$\sum _{j=1}^k{w}_{ij}=1$$

对损失函数矩阵化

J(W)=∑i=1m‖xi−∑j=1kwijxj‖22=∑i=1m‖∑j=1kwijxi−∑j=1kwijxj‖22=∑i=1m‖∑j=1kwij(xi−xj)‖22=∑i=1mWTi(xi−xj)T(xi−xj)Wi$$\begin{array}{rl}J(W)& =\sum _{i=1}^m\Vert x_i-\sum _{j=1}^k{w}_{ij}{x}_j{\Vert }_2^2\\ & =\sum _{i=1}^m\Vert \sum _{j=1}^k{w}_{ij}{x}_i-\sum _{j=1}^k{w}_{ij}{x}_j{\Vert }_2^2\\ & =\sum _{i=1}^m\Vert \sum _{j=1}^k{w}_{ij}(x_i-x_j){\Vert }_2^2\\ & =\sum _{i=1}^m{W}_i^T(x_i-x_j{)}^T(x_i-x_j)W_i\end{array}$$

其中Wi=(wi1,wi2,...,wik)T$W_i=(w_{i1},w_{i2},...,w_{ik}{)}^T$
表示局部协方差Zi=(xi−xj)T(xi−xj)$Z_i=(x_i-x_j{)}^T(x_i-x_j)$
则简化为

J(W)=∑i=1mWTiZiWi$$J(W)=\sum _{i=1}^m{W}_i^T{Z}_i{W}_i$$

对约束有

∑j=1kwij=WTi1k=1$$\sum _{j=1}^k{w}_{ij}=W_i^T{1}_k=1$$

其中1k为k维全1向量

则拉格朗日乘子法：

L(W)=∑i=1mWTiZiWi+λ(WTi1k−1)$$L(W)=\sum _{i=1}^m{W}_i^T{Z}_i{W}_i+\lambda (W_i^T{1}_k-1)$$

对W求导取0得

2ZiWi+λ1k=0$$2Z_i{W}_i+\lambda 1_k=0$$

则

Wi=λ′Z−1i1kλ′=−12λ$$\begin{gathered} W_i={\lambda }^{\prime }{Z}_i^{-1}{1}_k \\ {\lambda }^{\prime }=-\frac{1}{2}\lambda \end{gathered}$$

利用约束做归一化有

Wi=Z−1i1k1TkZ−1i1k$$W_i=\frac{Z_i^{-1}{1}_k}{1_k^T{Z}_i^{-1}{1}_k}$$

注：把1Tk挪到左边就对上了。。。$1_k^T挪到左边就对上了。。。$

至此，获得高维的权重系数，希望权重系数保持。设定n维样本集{x1,x2,...,xm}$\{x_1,x_2,...,x_m\}$在低维的d维度投影为{y1,y2,...,ym}$\{y_1,y_2,...,y_m\}$，希望保持线性关系且均方差损失函数最小，则最小化损失函数

J(y)=∑i=1m‖yi−∑j=1kwijyj‖22$$J(y)=\sum _{i=1}^m\Vert y_i-\sum _{j=1}^k{w}_{ij}{y}_j{\Vert }_2^2$$

区别在于高维的时候是求权重系数W，低维时是求低位数据Y

为了得到标准化低维数据，加入约束条件

∑i=1myi=0;1m∑i=1myiyTi=I$$\sum _{i=1}^m{y}_i=0;\frac{1}{m}\sum _{i=1}^m{y}_i{y}_i^T=I$$

将目标损失函数矩阵化

J(Y)=∑i=1m‖yi−∑j=1kwijyj‖22=∑i=1m‖YIi−YWi‖22=tr(YT(I−W)T(I−W)Y)$$\begin{array}{rl}J(Y)& =\sum _{i=1}^m\Vert y_i-\sum _{j=1}^k{w}_{ij}{y}_j{\Vert }_2^2\\ & =\sum _{i=1}^m\Vert Y{I}_i-Y{W}_i{\Vert }_2^2\\ & =tr(Y^T(I-W{)}^T(I-W)Y)\end{array}$$

令M=(I−W)T(I−W)$M=(I-W{)}^T(I-W)$，则最小化J(Y)=tr(YTMY)$J(Y)=tr(Y^{T}MY)$，约束函数矩阵化为YTY=mI$Y^{T}Y=mI$
通过拉格朗日函数得到

L(Y)=tr(YTMY)+λ(YTY−mI)$$L(Y)=tr(Y^{T}MY)+\lambda (Y^{T}Y-mI)$$

求导取0得到

2MY+2λY=0$$2MY+2\lambda Y=0$$

则求出矩阵M的最小的d个特征值所对应的d个特征向量组成矩阵Y=(y1,y2,...,yd)$Y=(y_1,y_2,...,y_d)$

注，一般最小的特征值为0不能反映数据特征，因此取[1,d+1]小的特征值的特征向量。(这里因为最小化目标，所以取小的特征值)

算法流程

总结一波流程：K近邻=>算权重系数=>算降维后的矩阵

LLE算法的主要优点有：
1）可以学习任意维的局部线性的低维流形
2）算法归结为稀疏矩阵特征分解，计算复杂度相对较小，实现容易。
LLE算法的主要缺点有：
1）算法所学习的流形只能是不闭合的，且样本集是稠密均匀的。
2）算法对最近邻样本数的选择敏感，不同的最近邻数对最后的降维结果有很大影响。