OpenMP - 临界区 + 缩减

Question

我目前正在学习使用 C 和 OpenMP 进行并行编程。 我想编写简单的代码，其中两个共享值由多个线程递增。 首先，我使用了 reduction 指令，它按预期工作。然后我切换到使用 critical 指令来启动临界区——它也有效。 出于好奇，我尝试合并这两个解决方案并检查行为。我希望有两个有效、相等的值。

代码：

#include <stdio.h>
#include <stdlib.h>
#include "omp.h"

#define ITER 50000

int main( void )
{
    int x, y;
    #pragma omp parallel reduction(+:x,y)
    {
       #pragma omp for
       for (int i = 0; i < ITER; i++ )  
       {
            x++;
            #pragma omp critical
            y++;
       }
    }

    printf("non critical = %d\ncritical = %d\n", x, y);
    return 0;
}

输出：

非关键 = 50000
关键 = 4246432

当然，当涉及到“关键”（变量 y）时，输出是随机的，另一个则按预期运行，始终为 50000。

x 的行为是可以理解的 - reduction 使其在单线程范围内是私有的。在对来自线程的增量值求和并传递给非本地 x 之后。

我不明白的是y的行为。它就像 x 一样是私有的，但它也在 critical 部分内，因此它“有多个理由”无法从其他线程访问。然而，我认为，发生的是比赛条件。 critical 是否以某种方式将 y 公开（共享）？

我知道这段代码没有意义，因为只使用 reduction / critical 之一就足够了。我只想知道这种行为背后的原因。

Answer 1

您的代码只是表现出未定义的行为，critical 的存在与您得到错误结果无关。

critical 是否以某种方式将 y 公开（共享）？

不，它没有。它只会通过阻止线程的并发执行来减慢循环。

您缺少的是归约操作的结果与归约变量的初始值相结合，即与变量在平行区域之前的值相结合。在您的情况下，x 和 y 都具有随机初始值，因此您会得到随机结果。在您的情况下，初始值 x 恰好为 0，这就是为什么您得到正确结果的原因只是 UB。初始化 x 和 y 会使您的代码按预期运行。

OpenMP 规范规定：

reduction 子句指定一个reduction-identifier 和一个或多个列表项。对于每个列表项，在每个隐式任务或 SIMD 通道中创建一个私有副本，并使用 reduction-identifier 的初始化器值进行初始化。在区域结束后，原始列表项使用与 reduction-identifier 关联的组合器使用私有副本的值更新 .

这是您使用 4 个线程执行的原始代码：

$ icc -O3 -openmp -std=c99 -o cnc cnc.c
$ OMP_NUM_THREADS=1 ./cnc
non critical = 82765
critical = 50000
$ OMP_NUM_THREADS=4 ./cnc
non critical = 82765
critical = 50000
$ OMP_NUM_THREADS=4 ./cnc
non critical = 50000
critical = 50000
$ OMP_NUM_THREADS=4 ./cnc
non critical = 82765
critical = 50194
$ OMP_NUM_THREADS=4 ./cnc
non critical = 82767
critical = 2112072800

使用一个线程的第一次运行表明它不是由于数据竞争。

int x=0, y=0;:

$ icc -O3 -openmp -std=c99 -o cnc cnc.c
$ OMP_NUM_THREADS=4 ./cnc
non critical = 50000
critical = 50000
$ OMP_NUM_THREADS=4 ./cnc
non critical = 50000
critical = 50000
$ OMP_NUM_THREADS=4 ./cnc
non critical = 50000
critical = 50000
$ OMP_NUM_THREADS=4 ./cnc
non critical = 50000
critical = 50000

Answer 2

您的代码的主要问题是 x 和 y 未初始化。第二个问题是临界区中使用的变量应该是shared 而不是归约变量，尽管这只会影响性能，而不是正确性。

我已经更正了您的代码并对其进行了修改，以演示 reduce、critical 和 atomic 如何产生相同的结果。

来源

#include <stdio.h>
#include <stdlib.h>
#include <omp.h>

int main(int argc, char* argv[])
{
    int iter = (argc>1) ? atoi(argv[1]) : 50000;
    int r=0, c=0, a=0;

    printf("OpenMP threads = %d\n", omp_get_max_threads() );

    #pragma omp parallel reduction(+:r) shared(c,a)
    {
        #pragma omp for
        for (int i = 0; i < iter; i++ ) {
            r++;
            #pragma omp critical
            c++;
            #pragma omp atomic
            a++;
        }
    }
    printf("reduce   = %d\n"
           "critical = %d\n"
           "atomic   = %d\n", r, c, a);
    return 0;
}

编译

icc -O3 -Wall -qopenmp -std=c99 redcrit.c

输出

OpenMP threads = 4
reduce   = 50000
critical = 50000
atomic   = 50000