Spark上的SUMMA（高效分布式矩阵乘法）？

Question

我想知道在 Spark 上是否可以使用 http://www.cs.utexas.edu/ftp/techreports/tr95-13.pdf 之类的东西。

是否可以以与 MPI 相同的方式访问低级 RDD 功能/分布（SUMMA 的关键概念是 2D 进程拓扑和行/列广播。）

我见过 simple matrix multiplication in Spark ，但这似乎与 SUMMA 的效率相差甚远。

谢谢！

Answer 1

我和我的同学已经在 Spark 上完成了一个分布式矩阵库：Marlin(https://github.com/PasaLab/marlin)。我们库中实现的矩阵乘法算法参考 CARMA(http://www.eecs.berkeley.edu/~odedsc/papers/bfsdfs-mm-ipdps13.pdf)。

首先，我们调查 SUMMA 算法。然而，在每次迭代期间沿处理器行和列发送子矩阵很难用 Spark 的 API 实现。最近，我们使用 TorrentBroadcast 实现了类似于 Spark 中 MPI 发送和接收的机制，需要修改 Spark 核心代码。我认为通过这种策略，可以在 Spark 中实现 SUMMA。但是容错性和可扩展性可能是个问题。