【发布时间】：2016-12-11 10:44:42
【问题描述】：
我正在训练在 python 上对 MNIST 进行一些 PCA 重建，并将它们与我在 maltab 中的（旧）重建进行比较，我碰巧发现我的重建不同意。经过一些调试后，我决定打印每个主要组件的独特特征以显示它们是否相同，我惊讶地发现它们不相同。我打印了所有组件的总和，我得到了不同的数字。我在matlab中做了以下：
[coeff, ~, ~, ~, ~, mu] = pca(X_train);
U = coeff(:,1:K)
U_fingerprint = sum(U(:))
%print 31.0244
在 python/scipy 中：
pca = pca.fit(X_train)
U = pca.components_
print 'U_fingerprint', np.sum(U)
# prints 12.814
为什么 twi PCA 不计算相同的值？
我所有的尝试和解决这个问题：
我发现这一点的原因是，当我重建我的 MNIST 图像时，python 重建的图像与原始图像接近很多。我在 python 中得到了0.0221556788645 的错误，而在 MATLAB 中我得到了大小为29.07578 的错误。为了弄清楚差异来自哪里，我决定对数据集进行指纹识别（也许它们的归一化方式不同）。所以我得到了 MNIST 数据集的两个独立副本（通过除以我的 255 进行归一化）并得到了指纹（将数据集中的所有数字相加）：
print np.sum(x_train) # from keras
print np.sum(X_train)+np.sum(X_cv) # from TensorFlow
6.14628e+06
6146269.1585420668
它们（本质上）是相同的（一个来自 tensorflow MNIST，另一个来自 Keras MNIST，注意 MNIST 训练数据集的训练集少了大约 1000 个，因此您需要附加缺失的训练集）。令我惊讶的是，我的 MATLAB 数据具有相同的指纹：
data_fingerprint = sum(X_train(:))
% prints data_fingerprint = 6.1463e+06
表示数据集完全相同相同。很好，所以标准化数据不是问题。
在我的 MATLAB 脚本中，我实际上是手动计算重建如下：
U = coeff(:,1:K)
X_tilde_train = (U * U' * X_train);
train_error_PCA = (1/N_train)*norm( X_tilde_train - X_train ,'fro')^2
%train_error_PCA = 29.0759
所以我认为这可能是问题所在，因为我使用 python 提供的接口来计算重建，如下所示：
pca = PCA(n_components=k)
pca = pca.fit(X_train)
X_pca = pca.transform(X_train) # M_train x K
#print 'X_pca' , X_pca.shape
X_reconstruct = pca.inverse_transform(X_pca)
print 'tensorflow error: ',(1.0/X_train.shape[0])*LA.norm(X_reconstruct_tf - X_train)
print 'keras error: ',(1.0/x_train.shape[0])*LA.norm(X_reconstruct_keras - x_train)
#tensorflow error: 0.0221556788645
#keras error: 0.0212030354818
这导致不同的误差值 0.022 和 29.07，惊人的差异！
因此，我决定在我的 python 脚本中编写确切的重建公式：
pca = PCA(n_components=k)
pca = pca.fit(X_train)
U = pca.components_
print 'U_fingerprint', np.sum(U)
X_my_reconstruct = np.dot( U.T , np.dot(U, X_train.T) )
print 'U error: ',(1.0/X_train.shape[0])*LA.norm(X_reconstruct_tf - X_train)
# U error: 0.0221556788645
令我惊讶的是，它与我使用接口计算的 MNIST 错误有相同的错误。因此，得出的结论是，我没有像我认为的那样对 PCA 有误解。
所有这些都导致我检查主要组件的实际位置以及令我惊讶的是 scipy 和 MATLAB 的 PCA 值具有不同的指纹。
有人知道为什么或发生了什么吗？
正如沃伦所建议的，pca 分量（特征向量）可能有不同的符号。通过添加 magnitude 中的所有组件进行指纹打印后，我发现它们具有相同的指纹：
[coeff, ~, ~, ~, ~, mu] = pca(X_train);
K=12;
U = coeff(:,1:K)
U_fingerprint = sumabs(U(:))
% U_fingerprint = 190.8430
对于python：
k=12
pca = PCA(n_components=k)
pca = pca.fit(X_train)
print 'U_fingerprint', np.sum(np.absolute(U))
# U_fingerprint 190.843
这意味着差异必须是因为（pca）U向量的不同符号。我觉得非常令人惊讶，我认为这应该会产生很大的不同，我什至不认为它会产生很大的不同。我想我错了？
【问题讨论】：
-
两个版本返回多少个组件？比较文档，这可能是一个差异点，可以解释观察到的行为。
-
@rubenvb 他们都是 12 岁（显然是相同的，否则我会犯愚蠢的错误，我将在明天早上提供 github 代码供脚本供人们判断）。
-
在 MATLAB 中的变量是 column mayor，在 python 中是 row mayor。确保您没有在转置矩阵中计算 PCA。
-
您能否将 PCA 应用于 matlab 和 python 中的一个非常小的数组，而不是 MNIST 数据，然后简单地查看结果以了解差异？
-
使用 small 数据集，您可以简单地打印
U并比较 matlab 和 python 中的输出，而不是比较“指纹”（即 @ 的总和） 987654333@).
标签： matlab numpy machine-learning scipy pca