部分和的 Fortran OpenMP 计算

Question

我对 Fortran 非常陌生，正在做一个涉及通过 OpenMP 并行求和数字的练习。

我得到以下代码通过 OpenMP 正确计算并行数字的总和

!$omp parallel do private (I)
!$omp+ reduction(+:totals)
do I=1,100
    totals = totals + localsum(I)
enddo
!$omp end parallel do

如果我调整上面的代码以便我可以在我自己的 Fortran 程序中运行它，我会产生

Program test
    implicit none
    real totals
    double precision, dimension (1 : 100) :: localsum
    integer I

    !$omp parallel do private (I)
    !$omp+ reduction(+:totals)
    do I=1,100
        localsum(I)=I
        totals = totals + localsum(I)
    enddo
    !$omp end parallel do
    print *, 'The calculated sum total is', totals
end

这个程序返回

The calculated sum total is   5050.00000

但是，我不确定为什么需要为

添加额外的行

localsum(I)=I

当原始代码没有这一行时。我注意到如果我删除

!$omp+ reduction(+:totals)

然后

Program test
    implicit none
    real totals
    double precision, dimension (1 : 100) :: localsum
    integer I

    !$omp parallel do private (I)
    do I=1,100
        localsum(I)=I
        totals = totals + localsum(I)
    enddo
    !$omp end parallel do
    print *, 'The calculated sum total is', totals
end

返回

 The calculated sum total is   5050.00000

当计算的总数应该是错误的。包括减少，!$omp+ reduction(+:totals)，应该是计算正确总数所必需的。

是否有其他方法可以调整 do 循环以匹配提供的原始代码？我不知道为什么我必须改变

do I=1,100
    totals = totals + localsum(I)
enddo

到

do I=1,100
    localsum(I)=I
    totals = totals + localsum(I)
enddo

为了计算局部总和。

Answer 1

这是Odd results with !$omp reduction in Fortran OpenMP 的副本。

根据 OpenMP 规范（参见第 42 页），OpenMP 指令的正确延续是在上一行的末尾使用 & 并在延续行上使用 !$omp&（!$omp& 中的 & 符号是可选的）。因此，您的代码应如下所示：

Program test
    implicit none
    real totals
    integer I
    integer, dimension(100) :: localsum
    !$omp parallel do private (I) &
    !$omp& reduction(+:totals)
        do I=1,100
            localsum(I)=I
            totals = totals + localsum(I)
        enddo
    !$omp end parallel do
    print *, 'The calculated sum total is', totals
end

由于编译器忽略了定义减少 totals 变量的延续行，因此您得到了任意结果。添加适当的延续后，我得到了正确的结果：

The calculated sum total is   5050.000

Answer 2

有或没有!$omp+ reduction(+:totals) 执行的代码是不同的。

没有这个指令，你直接更新全局变量totals。这可能有效（在您的示例中有效），但远未得到保证。问题是这可能会导致比赛。

假设线程 a 和线程 b 想要更新这个 var。他们需要：
1. 从内存中获取 var
2. 在处理器中更新它
3. 写回内存

线程 a 和 b 中这些操作的相对顺序是什么？它是未指定的。
如果顺序是1a2a3a1b2b3b，没有问题。
如果是 1a1b2a2b3a3b 则会出现问题：1a1b（线程 a 和 b 获取相同的值）2a2b（它们或多或少同时更新）3a3b（线程 a 写入其结果并被线程 b 值覆盖）。

为避免这种情况，您可以使用原子操作，以保证读取-修改-写入周期不会被中断，但它们非常昂贵并且可能会显着减慢执行时间。

为避免这种情况，您必须使用归约。 !$omp+ reduction(+:totals) 行告诉 openmp 以安全有效的方式进行缩减。实际要做的是

1. 设置一个隐藏的局部变量来做部分循环中的累加
2. 在循环的每次迭代中，在这个本地变量中执行累加
3. 最后以安全的方式将这些部分结果累积到全局变量totals：原子操作将以正确更新全局变量并避免线程之间竞争的方式执行。

还有原子更新，只是数量减少了，积累多是通过快速的本地操作来完成的。

关于localsum(I)=I 行的用处，要求向量localsum 之前没有初始化。但如果目标只是添加第一个整数，则可以使用

do I=1,100
    totals = totals + I
enddo

性能将得到改善，结果相同。并且两个循环都以类似的方式并行化。