影响 OpenMP 并行效率的方面答案

【问题标题】：Aspects that affects the efficiency of OpenMP parallelism影响 OpenMP 并行效率的方面
【发布时间】：2021-07-24 15:52:16
【问题描述】：

我想使用 OpenMP 并行一个大循环以提高其效率。这是玩具代码的主要部分：

vector<int> config;
config.resize(indices.size());

omp_set_num_threads(2);
#pragma omp parallel for schedule(static, 5000) firstprivate(config)
    for (int i = 0; i < 10000; ++i) { // the outer loop that I would like to parallel
#pragma omp simd
        for (int j = 0; j < indices.size(); ++j) { // pick some columns from a big ref_table
            config[j] = ref_table[i][indices[j]];
        }
        int index = GetIndex(config); // do simple computations on the picked values to get the index
#pragma omp atomic
        result[index]++;
    }

然后我发现如果我使用 2、4 或 8 个线程，我无法提高效率。并行版本的执行时间通常大于顺序版本。外部循环有 10000 次迭代，它们是独立的，所以我希望多个线程并行执行这些迭代。

我猜性能下降的原因可能包括：config 的私有副本？或者，ref_table 的随机访问？或者，昂贵的原子操作？那么性能下降的确切原因是什么？更重要的是，我怎样才能获得更短的执行时间？

【问题讨论】：

GetIndex 是做什么的？任何显式或隐藏的内存分配（例如使用向量或列表）？
indices.size() 有多大？
"or, random access of ref_table?" 多个线程访问同一个内存位置不是问题，只要这些访问是严格只读的。只有至少有一个线程在该位置执行写操作时才会成为问题。
我认为，像往常一样，您的代码受内存限制。这意味着您的程序的速度主要取决于内存读/写的速度。请阅读此答案，我认为它也可能适用于您的情况：stackoverflow.com/questions/68503586/…
我不认为 #pragma omp simd 应该提供任何加速，即使 indices 更大，因为您正在内部循环中进行收集操作，我无法想象从矢量化中获利。

标签： c++ performance parallel-processing openmp

【解决方案1】：

config 的私有副本或ref_tables 的随机访问都没有问题，我认为工作量非常小，有两个潜在的问题阻碍了高效并行化：

原子操作太昂贵了。
开销大于工作负载（这只是意味着不值得与 OpenMP 并行化）

我不知道在您的情况下哪个更重要，因此值得尝试摆脱原子操作。有两种情况：

a) 如果results 数组初始化为零，您必须使用：

#pragma omp parallel for reduction(+:result[0:N]) schedule(static, 5000) firstprivate(config) 其中N 是result 数组的大小并删除#pragma omp atomic。请注意，这适用于 OpenMP 4.5 或更高版本。对于 2-10 次迭代的循环，删除 #parama omp simd 也是值得的。因此，您的代码应如下所示：

#pragma omp parallel for reduction(+:result[0:N]) schedule(static, 5000) firstprivate(config)
    for (int i = 0; i < 10000; ++i) { // the outer loop that I would like to parallel
        for (int j = 0; j < indices.size(); ++j) { // pick some columns from a big ref_table
            config[j] = ref_table[i][indices[j]];
        }
        int index = GetIndex(config); // do simple computations on the picked values to get the index
        result[index]++;
    }

b) 如果result 数组未初始化为零，则解决方案非常相似，但在循环中使用一个临时的零初始化数组，然后将其添加到result 数组中。

如果速度不会提高，那么您的代码不值得在硬件上与 OpenMP 并行化。

【讨论】：