矩阵乘法优化 (OpenMP) - C

Question

我正在学习一点关于 openMP 的知识，并尝试在这里使用它来将两个矩阵相乘。

void matrix_multiply(matrix *A, matrix *B, matrix *C) {

    #pragma omp parallel
    {
        #pragma omp for 
        for(int i = 0; i < A->dim.rows; i++) {
            for(int j = 0; j < B->dim.cols; j++) {
                C->data[i][j] = 0;
                for (int k = 0; k < A->dim.cols; k++) {
                C->data[i][j] += A->data[i][k] * B->data[k][j];
               }
           }
       }
   }
}

typedef struct shape {
    int rows;
    int cols;
} shape;

typedef struct matrix {
    shape dim;
    float** data;
} matrix;

对此还有点新意，那么是否有任何简单的更改来提高性能或者我已经这样做了？我是否也因为不使用归约而陷入任何数据竞争？

Answer 1

您当前的实现可能不会有很大改进。在这一点上，它归结为编译器和缓存的使用。 here by Intel 提出了一个有趣的观点，即 GCC 需要交换两个循环才能向量化乘法（即使用 SIMD）。对于非常大的矩阵，您可以考虑不将矩阵划分为条带，而是划分为块。这会带来复杂性和开销，但可以提高缓存的使用率。

仅当您将单个变量与多个线程相加时才需要归约子句，这里不是这种情况，因为您只对 k 求和。

最后（但这完全是个人的）请注意，您可以将两个指令替换为单个指令

#pragma omp parallel for

在我看来，它看起来更干净一些。