PCA 只保留较大的成对距离是什么意思？答案

【问题标题】：What is meant by PCA preserving only large pairwise distances?PCA 只保留较大的成对距离是什么意思？
【发布时间】：2015-10-13 00:55:03
【问题描述】：

我目前正在阅读 t-SNE 可视化技术，有人提到使用 PCA 可视化高维数据的缺点之一是它只能保留 large 点之间的成对距离。在高维度上相距很远的意思点在低维度上也会显得相距很远，但除了所有其他点的距离都被搞砸了。

谁能帮我理解为什么会这样以及它在图形上的含义是什么？

非常感谢！

【问题讨论】：

【解决方案1】：

不要将 PCA 与降维混淆。

PCA 是一种旋转变换，它将数据与轴对齐，使得第一维具有最大方差，其余维度中的第二个最大方差等。旋转保持成对距离。

当您使用 PCA 进行降维时，您会丢弃具有最小方差的旋转数据的维度。当点分布在远离均值的地方时，就会实现高方差。低方差维度是那些值大部分相同的维度，因此假定它们的缺失对成对距离的影响最小。

【讨论】：

【解决方案2】：

如果我可以重新表述@Don Reba 的评论： PCA 变换本身不会改变距离。通常用于可视化 PCA 结果的二维图只考虑了两个维度，而忽略了所有其他维度，因此这种可视化提供了距离的扭曲表示。

【讨论】：