OpenMP 嵌套循环，代码在做什么？

Question

我在理解 OpenMP 如何处理嵌套循环时遇到问题。请帮忙！

我让以下代码并行运行：

#pragma omp parallel private(i)
{
for(i=0; i<n; i++)
{
    #pragma omp for
    for(j=0; j<n; j++)
    {
        if(asubsref(seed,j) > 0)
            asubsref(bin,j) = asubsref(bin,j) + 1;
    }
    #pragma omp for
    for(j=0; j<n; j++)
        asubsref(seed,j) = asubsref(seed,j) - asubsref(w,i);
}
}

但是，我不太确定这段代码是如何工作的（我只是运气好）。这就是我认为它正在做的事情......

所以for(i=0; i<n; i++) 被分成不同的线程并并行运行。因为i 被声明为private，所以循环的每个实例都是“沙盒”；也就是说，对j 的任何更改都保留在该线程中（至少在所有线程完成之前？）。我很困惑，因为不声明 #pragma omp for 会导致代码中断...我不确定这是为什么。

如果有人能指导我了解这段代码的作用，我将不胜感激！谢谢！

Answer 1

这是一个典型的做法，目的是减少多次进入和退出并行区域的开销。将您问题中的代码与以下等效代码进行比较：

for (i=0; i<n; i++)
{
    #pragma omp parallel for
    for (j=0; j<n; j++)
    {
        if (asubsref(seed,j) > 0)
            asubsref(bin,j) = asubsref(bin,j) + 1;
    }
    #pragma omp parallel for
    for (j=0; j<n; j++)
        asubsref(seed,j) = asubsref(seed,j) - asubsref(w,i);
}

它在i n 上运行外循环。在外循环的每次迭代中，它在j 上运行两个并行循环，将n 迭代拆分到线程中。这里的问题是内部有两个并行区域，每个区域都被激活n 次。这可能会为 n 的某个值间隔增加大量开销（实际间隔将取决于许多因素）。

为了减少开销，我们将整个代码放在一个并行区域内。因此，每个线程将执行外部循环的所有迭代，而内部迭代仍将在线程之间拆分。如果您删除工作共享结构，则内部循环将不会分布在线程之间。相反，每个线程都会执行完整范围的外部 和 内部迭代，因此例如 asubsref(bin,j) 将增加到 num_threads 次而不是一次（为什么“最多”？提示: 不受保护的并发数据访问）。

大多数时候，在并行结构中运行外循环时，希望不同的线程在相同的迭代中保持滴答作响。这可以通过循环体末尾的屏障来实现：

#pragma omp parallel private(i)
{
    for (i = 0; i < n; i++)
    {
        ...
        #pragma omp barrier
    }
}

在您的情况下，不需要显式屏障，因为 for 工作共享构造在其末尾有一个隐式屏障。