MPI上求矩阵行列式方法的并行化

Question

如何实现并行化在 MPI 上查找矩阵行列式的方法？如何并行化矩阵的填充，是否可以将数据从前一个进程传递到每个进程，以及如何将其应用于我的代码？

double GaussDet(double** mat, int size) {

    int determinant = 1;

    for (int i = 1; i < size; ++i)
    {
        for (int k = i; k < size; ++k)
        {
            for (int j = size - 1; j >= 0; --j)
            {
                mat[k][j] -= mat[k][i - 1] / mat[i - 1][i - 1] * mat[i - 1][j];
            }
        }
    }

    for (int i = 0; i < size; i++) {
      for(int j = 0; j < size; j++) {
        if(i == j)
        determinant *= mat[i][j];
      }
    }
    return determinant;
}

int main(int argc, const char * argv[])
{ 
    srand(time(NULL));
    int N = 4;

    double **matrix = malloc(N * sizeof(double*));
    for (int i = 0; i < N; i++) {
      matrix[i] = malloc(N * sizeof(double*));
    }
    fill_matrix(matrix, N);
    print_matrix(matrix, N);
    double det = GaussDet(matrix, N);
    print_matrix(matrix, N);
    printf("det = %f\n", det);
 
}

Answer 1

您正在描述通过简化为上三角形式，然后将对角线上的元素相乘来计算行列式。上三角归约是高斯消元（或：计算 LU 分解）的基础，所以让我们假设这就是您所要求的。

好的，所以你有一个矩阵和 MPI。 MPI 使用分布式内存，因此为了实现良好的实现，您需要分发矩阵。最简单的解决方案是让每个进程存储许多不同的行。列也是可能的，但这对论点没有影响。

高斯消元有很多并行性，但它有一个顺序组件：1/a[i,i] 枢轴的计算。您为i 的一个值执行此操作，更新所有矩阵元素，为下一个i 执行此操作，等等。需要注意的重要一点是，只有一个进程存储了该元素，因此只有一个进程知道枢轴的值。因此，该过程必须将其广播给所有其他人。然后每个人都可以更新他们的矩阵元素。

从编码开始：每个进程得到矩阵的一个切片，然后你计算分解。

现在，这个算法有问题：在你消除了 pivot i 之后，存储它的进程不再活动。所以在分解的过程中，你的并行度会越来越少。您可以通过为每个进程提供不是矩阵的块切片，而是通过循环来解决此问题。还有一个更难描述的问题，即将整行分配给进程的基本假设。

因此，这种算法的高质量实现非常罕见。 Scalapack 和 PLapack（都是 1990 年代），然后是 Elemental（2010 年代），实际上几乎只有它们。去显示这个问题是多么棘手。但正如我上面概述的那样，基础应该是可行的。