什么是“虚假分享”？如何重现/避免它？

Question

今天我和教授在并行编程课上对什么是“虚假共享”有了不同的理解。我的教授说的没有道理，所以我立即指出。她认为“虚假分享”会导致节目结果出现错误。

我说过，当不同的内存地址分配给同一个缓存行时，会发生“错误共享”，将数据写入其中一个会导致另一个被踢出缓存。如果处理器在两个虚假共享地址之间来回写入，则它们都无法停留在缓存中，因此所有操作都会导致对DRAM的访问。

到目前为止，这是我的看法。事实上，我也不确定我说的是什么……如果我有误解，请指出来。

所以有一些问题。缓存假定为 64 字节对齐、4 路组关联。

1. 两个超过 64 字节的地址是否有可能是“虚假共享”？
2. 单线程程序是否可能遇到“错误共享”问题？
3. 重现“虚假共享”的最佳代码示例是什么？
4. 一般来说，避免程序员“虚假共享”的注意事项有哪些？

Answer 1

我会就你的问题分享我的观点。

1. 由比块大小更多的字节分隔的两个地址不会驻留在完全相同的高速缓存行上。因此，如果一个内核在其缓存中具有第一个地址，而另一个内核请求第二个地址，则第一个内核不会因为该请求而从缓存中删除。所以不会发生错误的分享失误。

2. 我无法想象在完全没有并发的情况下会发生多么错误的共享，因为除了单个线程之外没有其他人来竞争缓存行。

3. 取自here，使用 OpenMP，重现虚假共享的简单示例是：

   double sum=0.0, sum_local[NUM_THREADS];
   
   #pragma omp parallel num_threads(NUM_THREADS)
   {
       int me = omp_get_thread_num();
       sum_local[me] = 0.0;
   
       #pragma omp for
       for (i = 0; i < N; i++)
           sum_local[me] += x[i] * y[i];
   
       #pragma omp atomic
       sum += sum_local[me];
   }
   

4. 为了避免虚假分享，我能想到的一些一般注意事项是：

   一个。尽可能使用私人数据。

   b.有时您可以使用padding 来对齐数据，以确保没有其他变量将驻留在共享数据所在的同一缓存中。

欢迎任何更正或补充。