LLE(局部线性嵌入)

LLE(局部线性嵌入)

---

思路

　　LLE算法思路是假设每个点可以用领域内的其他点以权值和为1线性组合而成，使得误差尽量小，得到系数。然后在低维空间内根据系数，以最小误差嵌入点。
　　转化为优化问题就是:
　　min L(wij)=∑i=1m||xi−∑j∈Qiwijxj||22
　　min L(zi)=∑i=1m||zi−∑j∈Qiwijzj||22
　　后一步可以转化为:
　　min L(Z)=tr(ZMZT)s.t.ZZT=I
　　可以用主成分分析获得嵌入向量对应的Z。
　　对此西瓜书上讲得很清楚了，可是每种不足的是，西瓜书没有推导，而且西瓜书写的解很有歧义。下面我补充一个推导并且给出歧义的说明。

---

推导

　　推导分为两部分，分别为求W与求Z

---

易混淆的部分

　　我的结论:
　　wij=∑k(D−1i)kj∑k,l(D−1i)kl，其中Di=AiTAi，Ai=(xk1−xi,xk2−xi,...,xk|Qi|−xi)
　　
　　西瓜书给出的结果:(图片来自网络，且网络上大部分都是这个版本)
　　
　　那么我们知道，Cjk是一个标量，C−1jk有两种理解:
　　1)(Cjk)−1
　　2)把C协方差矩阵看作整体，(C−1)jk

　　显然根据我的推导，第二种才是答案，但是实际操作中很容易混淆。