通过 SSE2 加速矩阵乘法

Question

我想知道 SSE2 如何加快矩阵乘法

这是我的代码

int mat_mult_simd(double *a, double *b, double *c, int n)
{
   __m128d c1,c2,a1,a2,b1;

   for(int i=0; i<n/2; i++){
      for(int j=0; j<n/2; j++){
          c1 = _mm_load_pd(c+(2*j*n)+(i+2));
          c2 = _mm_load_pd(c+n+(2*j*n)+(i+2));
          for(int k=0; k<n; k++){
             a1 = _mm_load1_pd(a+k+(2*j*n));
             a2 = _mm load1_pd(a+n+k+(2*j*n));
             b1 = _mm_load_pd(b+(k*n)+(i*2));
             c1 = _mm_add_pd(c1, _mm_mul_pd(a1,b1));
             c2 = _mm_add_pd(c2, _mm_mul_pd(a2,b1));
          }
          __mm_store_pd(c+(2*j*n)+(i+2), c1);
          __mm_store_pd(c+n+(2*j*n)+(i+2), c2);
      }
   }
   return 0;
}

每个参数的含义

'a' = 向量 a(MAT_SIZE*MAT_SIZE)

'b' = 向量 b(MAT_SIZE*MAT_SIZE)

'c' = 向量 c(MAT_SIZE*MAT_SIZE)

'n' = MAT_SIZE 是常数（它总是偶数且 >=2）

这段代码加速了大约 X4。反对

int mat_mult_default(double *a, double *b, double *c, int n)
{
 double t;
 for(int i=0; i<n; i++){
    for(int j=0; j<n; j++){
    t=0.0;
    for(int k=0; k<n; k++)
       t += a[i*n+k] * b[k*n+j];
    c[i*n+j] = t;
    }
 }
}

但我想加快速度。我通常试验 MAT_SIZE 1000*1000 或 2000*2000。 我怎样才能加快速度？还有其他方法可以索引吗？我真的很想知道。谢谢。

Answer 1

你可以做一些事情。显而易见的是将工作分成几个线程（每个核心 1 个）。您可以使用 OpenMP（最简单）、Intel TBB 或其他多线程库。 这将在多核机器上提供显着的改进。

另一件事是查看反汇编（通过您最喜欢的调试器） - 查看编译器如何处理您用于索引的所有乘法，其中一些可以被消除。

您的代码在一个循环中执行 2 次计算，尝试执行更多 4 或 8 次以获得更好的局部性。例如。 a1 和 a2 可以与它​​们已经在 L1 缓存中的邻居一起计算。实际上，您可以通过一次加载操作来加载它们。

确保各种数组都是 SSE 对齐的（16 字节），并更改您的代码以使用对齐的读/写。

我会把多线程留到最后，因为发现错误更难。

Answer 2

只需使用正确的库，例如英特尔数学内核库或类似的高度优化的线性代数包（OpenBLAS、AMD 核心数学库、ATLAS 等）。与手写代码相比，它们被认为更快。他们有时甚至对指令集和缓存大小进行了特定于处理器的优化。他们是各自领域的专业人士。除非您打算发表一篇关于您自己的优化的论文，否则请选择图书馆。

在德国计算机杂志的latest issue 中，他们声称编译器足够聪明，可以单独使用 SSE 或 AVX。只需编写正确的循环，自动矢量化器就会带来最好的结果。这适用于最新的英特尔编译器。微软的编译器太垃圾了。在某些情况下，使用正确的编译器标志，英特尔的编译器甚至会检测到您编写了矩阵乘法并用正确的调用替换它。或者你必须检查文档，学习这样的包并不难。