真正依赖的并行化

Question

是否值得并行化真正的依赖循环？有什么好处和坏处？我们平均可以获得多少加速？

例如：

    int sum = 0;
    for(i=0;i<2000-1;i++){
            for(j=0;j<2000;j++) {
                curr[i][j] = some_value_here;
                sum += curr[i][j];
            }
    }

我应该如何处理这个循环？有一个明显的 RAW 依赖关系，我应该并行化它吗？如果是，我应该怎么做？

Answer 1

sum 充当简单的累加器，整个操作是并行归约。正确的解决方案是让每个线程累积自己的私有总和，然后在最后将所有私有总和相加。 OpenMP 提供的 reduction 子句正是这样做的：

int sum = 0;
#pragma omp parallel for collapse(2) reduction(+:sum)
for(i=0;i<2000-1;i++){
        for(j=0;j<2000;j++) {
            curr[i][j] = some_value_here;
            sum += curr[i][j];
        }
}

reduction(+:sum) 告诉编译器创建sum 的私有副本，然后应用+ 运算符将这些私有副本减少为单个值，然后将其添加到区域之前的sum 的值。代码大致相当于：

int sum = 0;
#pragma omp parallel
{
   int localsum = 0;
   #pragma omp for collapse(2)
   for(i=0;i<2000-1;i++) {
      for(j=0;j<2000;j++) {
         curr[i][j] = some_value_here;
         localsum += curr[i][j];
      }
   }
   #pragma omp atomic
   sum += localsum;
}

这里的潜在加速等于执行单元的数量，前提是每个执行单元有一个线程并且没有那么多线程，因此并行区域末尾的同步求和所需的时间可以忽略不计。