从头开始的 PCA 和 Sklearn PCA 提供不同的输出

Question

我正在尝试从头开始实施 PCA。以下是代码：

sc = StandardScaler()  #standardization
X_new = sc.fit_transform(X)
Z = np.divide(np.dot(X_new.T,X_new),X_new.shape[0])  #covariance matrix
eig_values, eig_vectors = np.linalg.eig(Z)           #eigen vectors calculation 
eigval_sorted = np.sort(eig_values)[::-1]             
ev_index  =np.argsort(eigval_sorted)[::-1]
pc = eig_vectors[:,ev_index]                         #eigen vectors sorts on the basis of eigen values
W = pc[:,0:2]                                        #extracting 2 components
print(W)

并获得以下组件：

[[ 0.52237162 -0.37231836]
[-0.26335492 -0.92555649]
[ 0.58125401 -0.02109478]
[ 0.56561105 -0.06541577]]

当我使用 sklearn 的 PCA 时，我得到以下两个组件：

array([[ 0.52237162, -0.26335492,  0.58125401,  0.56561105],
       [ 0.37231836,  0.92555649,  0.02109478,  0.06541577]])

投影到新的特征空间给出以下不同的数字：

我在哪里做错了，可以做些什么来解决问题？

Answer 1

PCA 的结果在技术上不是 n 个向量，而是一个维度为 n 的子空间。该子空间由跨越该子空间的 n 个向量表示。

在您的情况下，虽然向量不同，但跨越的子空间是相同的，因此 PCA 的结果是相同的。

如果您想使您的解决方案与 sklearn 解决方案完美结合，您需要以同样的方式标准化您的解决方案。显然 sklearn 更喜欢正值而不是负值？您需要深入研究他们的文档。

---

编辑： 是的，当然，我写的是错误的。该算法本身返回有序的正交基向量。因此，长度为 1 且彼此正交的向量按照它们对数据集的“重要性”进行排序。比子空间更多的信息。

但是，如果 v, w, u 是 PCA 的解，那么 +/- v, w, u 也应该是。

---

编辑：似乎 np.linalg.eig 没有机制来保证它也会返回代表特征空间的同一组特征向量，另请参见此处： NumPy linalg.eig

所以，新版本的 numpy，或者只是今天的星星排列方式，可以改变你的结果。虽然，对于 PCA，它应该只在 +/-

范围内变化