在 Dask 上，调用稀疏迭代方法 Dask Array 或跨集群中的节点

Question

我有一个大的稀疏矩阵，只能放在集群的多个节点上。我想 通过调用类似

的方法求解方程组

import scipy.sparse.linalg as splinalg

A = my_sparse_matrix          # a sparse dask array defined across four nodes
b = my_vector                 # an initial vector
M = my_sparse_preconditioner  # a preconditioner to help improve convergence of algorithm

x = splinalg.bicgstab(A, b, M=M)

有没有办法做到这一点

• 如果我只使用一个节点，它会并行求解 x 吗？
• 如果我使用多个节点（例如 4 个节点），它会起作用吗？

如果不是，这是 Dask 社区正在做的事情吗？

Answer 1

Dask 数组支持稀疏矩阵块。

Dask 数组支持 SciPy LinearOperator API

这两个事实可能足以解决您的问题，但您无疑仍需要自己做一些工作。例如，分布式稀疏数组没有明显的存储解决方案。没有明显的方法来分区数据等。

所以“是”，Dask 可以在这里提供帮助，但“不”没有明显的罐头解决方案适合您。