原子增量正在刷新其他缓存行（提供的代码和结果）？

Question

设置：Intel Ivy Bridge Core i7，在 64 位模式下编译，MSVC(2012) 和 Win 7 64 位。

我试图了解原子增量是否会导致缓存未命中。

我设置了一个测试，其中一个原子变量和另一个变量在同一个缓存行中，而不是在同一个缓存行中，然后比较缓存未命中。代码和结果如下。

结果

不同的缓存行：

• 原子增量没有 L1 缓存未命中
• d.a 的两个增量都有 40-50% 的 L1 缓存未命中。

相同的缓存行

• 递增d.a 没有缓存未命中
• 递增原子遇到100% L1 缓存未命中。

谁能解释一下？！我期待当原子与 d.a 位于同一缓存行时，d.a 将遭受 100% 的缓存未命中，而当它们位于不同的缓存行时 d.a 不会受到影响。

#include <atomic>
#include <iostream>
#include <iomanip>
#include <vector>

//Structure to ensure not in same cache line
__declspec(align(64)) struct S{
  volatile double a,b,d,c,e,f,g,h,i,j,k,l,m,n,o,p,q,r,s,t;
  volatile std::atomic<short> atom;
};

//Structure to ensure same cache line
/*__declspec(align(64)) struct S{
   volatile std::atomic<short> atom;
   volatile short a;
};*/


int main(){

    volatile S d;

    for(long long i=0; i<1000000000; i++){
        d.a++;
        d.atom++;
        d.a++;
    }
}

这里更新了一些asm：

    /* _Atomic_fetch_add_2, _Atomic_fetch_sub_2 */
inline _Uint2_t _Fetch_add_seq_cst_2(volatile _Uint2_t *_Tgt, _Uint2_t _Value)
    {   /* add _Value to *_Tgt atomically with
 mov         word ptr [_Tgt],dx  
 mov         qword ptr [rsp+8],rcx  
 push        rdi  
            sequentially consistent memory order */

    return (_INTRIN_SEQ_CST(_InterlockedExchangeAdd16)((volatile short *)_Tgt, _Value));
 movzx       eax,word ptr [_Value]  
 mov         rcx,qword ptr [_Tgt]  
 lock xadd   word ptr [rcx],ax  
    }
 pop         rdi  

Answer 1

看这个序列：

for(long long i=0; i<1000000000; i++){
    d.a++;
    d.atom++;
    d.a++;
}

我们可以将其重写为（大致）：

for(long long i=0; i<1000000000 / 4; i+=4){
    d.a++;
    d.atom++;
    d.a++;
    d.a++;
    d.atom++;
    d.a++;
    d.a++;
    d.atom++;
    d.a++;
    d.a++;
    d.atom++;
    d.a++;
}

我可以继续并进一步扩展循环，但很明显在d.atom++ 之后连续有两个d.a++。

换句话说，您应该预计 d.a++ 上大约 50% 的缓存未命中，这是基于循环结束时的 d.a++ 为循环的下一次迭代获取 d.a++ 的数据。与此的任何差异都将是测量错误（我认为缓存未命中是根据统计数据测量的，而不是在精确行上的精确步骤）。

在 d.a 和 d.atom 位于不同缓存行的情况下，显然d.atom++ 获取了该特定地址上的所有缓存未命中，解释了这种情况下的 100% 数字。

我不能 100% 确定锁定操作的定义（“锁定操作”= x86 领域中的原子）需要缓存刷新，但它肯定需要“独占访问”，这意味着所有其他 CPU（ cores) 将需要被告知“您现在必须从缓存中刷新此数据的任何副本”。从您的测试中可以看出，至少在这种处理器型号上，这等同于“刷新该行的所有缓存”，包括当前保存数据的缓存。

Answer 2

请参阅 SO 讨论 What is a memory fence?。这就是现代 Intel CPU 实现锁定指令的方式。内存屏障强制将数据完全写入内存，然后在下次访问时重新读取。在 [ref to A] [barrier] [ref to A] 的情况下，CPU 无法对第二个参考进行任何巧妙的预取。所有屏障指令都以相同的方式运行，但有些指令允许您明确限制为左或右栅栏模式。

执行屏障指令会导致性能下降。试图了解这种命中的特征会因 CPU 架构而异，而在硬件中执行此操作的算法的内部结构并不是英特尔将详细发布的内容。