我正在尝试了解 PCA，我浏览了几个教程。到目前为止，我理解，矩阵的特征向量意味着当向量乘以该矩阵时，向量旋转和缩放的方向与特征值成比例。因此，与最大特征值相关的特征向量定义了最大旋转的方向。我知道沿着主成分，变化是最大的，重建误差是最小的。我不明白的是：
为什么要找到协方差矩阵的特征向量对应的轴，使得原始变量更好地用这个轴定义？
【问题讨论】：
标签： statistics linear-algebra pca eigenvector
你的前提不正确。 PCA（和协方差矩阵的特征向量）当然不能“更好地”代表原始数据。
简而言之，PCA 的目标是为您的数据找到一些较低维度的表示（X，在 n 维度中），以便尽可能多地保留变化。结果是这个低维表示是一个正交子空间，它是您数据的最佳k 维表示（其中k < n）。我们必须找到那个子空间。
另一种思考方式：给定一个数据矩阵X，找到一个矩阵Y，使得Y 是k 的X 维投影。为了找到 最佳 投影，我们可以最小化 X 和 Y 之间的差异，这在矩阵语言中意味着最小化 ||X - Y||^2。
由于Y 只是X 到较低维度的投影，我们可以说Y = X*v 其中v*v^T 是较低等级的投影。谷歌rank 如果这没有意义。我们知道Xv 的维度比X 低，但我们不知道它指向什么方向。
为此，我们找到v 使得||X - X*v*v^t||^2 最小化。这相当于最大化||X*v||^2 = ||v^T*X^T*X*v|| 和X^T*X 是数据的样本协方差矩阵。这就是数学上我们关心数据协方差的原因。此外，事实证明，做得最好的v 是一个特征向量。在低维投影/近似中，每一维都有一个特征向量。这些特征向量也是正交的。
请记住，如果它们是正交的，那么它们中任意两个之间的协方差为0。现在考虑一个对角线非零且非对角线为零的矩阵。这是一个正交列的协方差矩阵，即每一列都是一个特征向量。
希望这有助于弥合协方差矩阵之间的联系，以及它如何帮助产生最佳的低维子空间。
同样，特征向量不能更好地定义我们的原始变量。通过将 PCA 应用于数据集确定的轴是我们的原始变量的线性组合，这些变量往往表现出最大的方差并产生与我们的原始数据最接近的可能近似值（由 l2 范数测量）。
【讨论】：