使用 openMP simd 进行以下循环是否安全？

Question

我只是更仔细地研究 OpenMP simd 构造，并且有三个循环似乎没有被 gcc 向量化（简要性能测试），但我认为它们可以。所以我想知道，添加 simd pragma 是否安全以及为什么 gcc 不对其进行矢量化。

首先是矩阵乘法，其值存储为单个数组：

#pragma omp parallel for
    for(size_t row = 0; row < 100; ++row){
    {#pragma omp simd}
        for(size_t col = 0; col < 100; ++col){              
            float sum = c[row * 100 + col];
            for(size_t k = 0; k < 100; k++){
                sum += a[rows * 100 + k] * b[k * 100 + col];
            }
            c[row * 100 + col] = sum;
        }

我知道 b 没有转置，这会影响性能。通过添加 simd pragma，代码变得更快。由于内循环，自动矢量化是不可能的吗？

对于第二个示例，我尝试了 OpenMP 的自定义归约声明功能，但实际上并不需要。

#pragma omp declare reduction(sum : double : omp_out += omp_in) initializer(omp_priv = omp_orig)
double red_result = 0;
#pragma omp parallel for {simd} reduction(sum:red_result)
    for(size_t i = 0; i < 100; ++i){            
        red_result = red_result + a[i];
    }

减少会阻止矢量化吗？因为我认为它应该可以正常工作？

最后一个例子是一个复杂的循环，有另一个内部循环和函数调用。简化后看起来像这样：

#pragma omp parallel for {simd}
for(size_t i = 0; i < 100; ++i){
  [..]
  for(size_t j = 0; j < 100; j++){
    if(j != i){
      float k2 = a[i] - b[j];
       k = std::sqrt(k2);           
    }
  }
  [do more with k]
}

所以这里的问题可能是 sqrt 调用，它不能被矢量化？但是使用 simd pragma 的性能应该更好吗？一些简短的测试表明情况确实如此，但是如果由于 std::sqrt 而无法进行自动矢量化，那么为什么要用 pragma 来实现呢？

感谢您的帮助！ :)

Answer 1

对于math.h 中的数学函数，您的编译器需要实现数学函数的向量化版本。 GCC 使用libmvec 执行此操作，而 ICC 使用SVML 执行此操作。据我所知，Clang 没有对矢量化数学函数的原生支持。

让我们考虑以下代码：

void foo(float * __restrict a, float * __restrict b) {    
    a = (float*)__builtin_assume_aligned(a, 16);
    b = (float*)__builtin_assume_aligned(b, 16);          
    for(int i = 0; i < 100; ++i) {
        b[i] = sqrtf(a[i]);
    }
}

void foo2(float * __restrict a, float * __restrict b) {    
    a = (float*)__builtin_assume_aligned(a, 16);
    b = (float*)__builtin_assume_aligned(b, 16);          
    for(int i = 0; i < 100; ++i) {
        b[i] = sinf(a[i]);
    }
}

GCC、ICC 和 Clang 向量化 sqrtf（使用牛顿方法的一次迭代）。 GCC 和 ICC 分别使用 libmvec (_ZGVbN4v_sinf) 和 SVML (__svml_sinf4) 向量化 sinf。 Clang 不会向量化 sinf。见godbolt。 sqrt 是一种特殊情况（因为 x86 指令集已矢量化 sqrt 指令），它可以在没有矢量化数学库的情况下内联。