Spark 的 PCA 实现可以处理多少列？

Question

例如，我可以计算 1,000,000 列的主成分吗？

Answer 1

最大列数为 65,535。

此限制在我们看到此评论的 RowMatrix 中强制执行：

This cannot be computed on matrices with more than 65535 columns

https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/linalg/distributed/RowMatrix.scala#L380