OpenMP 循环阵列访问中的虚假共享

Question

我想利用 OpenMP 使我的任务并行化。

我需要对数组的所有元素减去相同的数量，然后将结果写入另一个向量。两个数组都使用malloc 动态分配，第一个数组由文件中的值填充。每个元素的类型为uint64_t。

#pragma omp parallel for
for (uint64_t i = 0; i < size; ++i) {
    new_vec[i] = vec[i] - shift;
}

其中shift 是我想从vec 的每个元素中删除的固定值。 size 是 vec 和 new_vec 的长度，大约是 200k。

我在 Arch Linux 上使用 g++ -fopenmp 编译代码。我在 Intel Core i7-6700HQ 上，我使用 8 个线程。当我使用 OpenMP 版本时，运行时间要高 5 到 6 倍。当我运行 OpenMP 版本时，我可以看到所有内核都在工作。

我认为这可能是由虚假共享问题引起的，但我找不到。

Answer 1

您应该调整迭代在线程之间的拆分方式。使用schedule(static,chunk_size)，您可以这样做。

尽量使用64/sizeof(uint64_t)的倍数的chunk_size值来避免上述错误共享：

[ cache line n   ][ cache line n+1 ]
[ chuhk 0  ][ chunk 1  ][ chunk 2  ]

并实现这样的目标：

[ cache line n   ][ cache line n+1 ][ cache line n+2 ][...]
[ chunk 0                          ][ chunk 1             ]

您还应该以与缓存行对齐的方式分配向量。这样可以确保第一个块和后续块也正确对齐。

#define CACHE_LINE_SIZE sysconf(_SC_LEVEL1_DCACHE_LINESIZE) 
uint64_t *vec = aligned_alloc( CACHE_LINE_SIZE/*alignment*/, 200000 * sizeof(uint64_t)/*size*/);

您的问题与Stream Triad benchmark 所代表的问题非常相似。查看how to optimize that benchmark，您将能够几乎准确地映射代码上的优化。