Spark - 在驱动程序上执行的 MLlib computeSVD

Question

我正在使用 scala 运行 RowMatrix.computeSVD，在 UI 中，似乎只有一个阶段只有“treeAggregate”在集群上运行，之后应用程序主控的 UI 没有显示任何内容，而应用程序继续执行 computeSVD。所以我假设只有“treeAggregate”在集群上运行，其余的在驱动程序上。

有没有办法让所有计算 SVD 在集群上运行？ Driver 通常资源有限，对于 9446*9446 的矩阵，computeSVD 需要很长时间。

Answer 1

不幸的是，如果不修改私有 API，修改策略似乎是不可能的。

根据列数和k，Spark 会自动调整计算策略，并且仅当两个数字都很大并且k 与列数相比相对较高时，才会使用多遍的完全分布式模式。

乍一看，您可以通过将k 保持在nCol / 3 和ncol / 2 之间来触发分布式计算。