PCA中通过term document matrix构造的协方差矩阵有什么意义？答案

【问题标题】：What is the significance of covariance matrix constructed through term document matrix in PCA?PCA中通过term document matrix构造的协方差矩阵有什么意义？
【发布时间】：2012-10-29 17:48:58
【问题描述】：

我正在研究神经网络，为了减少通过文档构建的术语-文档矩阵的维度以及其中包含 tf-idf 值的各种术语，我需要应用 PCA。像这样的

           Term 1       Term 2       Term 3       Term 4. ..........
Document 1 

Document 2            tfidf values of terms per document

Document 3 
.
.
.
.
.

PCA 的工作原理是获取数据的平均值，然后减去平均值，然后对协方差矩阵使用以下公式

令矩阵M为NxN维度的词-文档矩阵

协方差矩阵变为

( M x transpose(M))/N-1

然后我们计算特征值和特征向量作为神经网络中的特征向量。我无法理解的是协方差矩阵的重要性以及它找到协方差的维度。

因为如果我们考虑简单的 2 维 X，Y，就可以理解。这里关联了哪些维度？

谢谢

【问题讨论】：

据我了解，协方差矩阵可以让 PCA 减少矩阵的维度。如果两个特征向量高度相关，即线性相关，则可以删除其中一个。
感谢您的回答：）知道了！
是的，对不起，我的错！

标签： statistics neural-network pca eigenvector term-document-matrix

【解决方案1】：

Latent semantic analysis 很好地描述了这种关系。它还解释了如何使用首先是完整的 doc-term 矩阵，然后是简化的矩阵，将术语列表（向量）映射到近似匹配的文档——即为什么要减少。
也可以看看 making-sense-of-PCA-eigenvectors-eigenvalues。（那里的许多不同答案表明，没有一个对每个人都是直观的。）

【讨论】：

非常感谢您的链接 :)