大型阵列上的 SSE 性能较慢

Question

我是 SSE 编程的新手，所以我希望有人可以帮助我。我最近使用 GCC SSE 内在函数实现了一个函数来计算 32 位整数数组的总和。我的实现代码如下。

int ssum(const int *d, unsigned int len)
{
  static const unsigned int BLOCKSIZE=4;
  unsigned int i,remainder;
  int output;
  __m128i xmm0, accumulator;
  __m128i* src;

  remainder = len%BLOCKSIZE;
  src = (__m128i*)d;
  accumulator = _mm_loadu_si128(src);

  output = 0;
  for(i=BLOCKSIZE;i<len-remainder;i+=BLOCKSIZE){
    xmm0 = _mm_loadu_si128(++src);
    accumulator = _mm_add_epi32(accumulator,xmm0);
  }

  accumulator = _mm_add_epi32(accumulator, _mm_srli_si128(accumulator, 8));
  accumulator = _mm_add_epi32(accumulator, _mm_srli_si128(accumulator, 4));
  output = _mm_cvtsi128_si32(accumulator);


  for(i=len-remainder;i<len;i++){
    output += d[i];
  }
  return output;
}

如您所见，这是一个相当直接的实现，我使用扩展的 xmm 寄存器一次对数组 4 求和，然后在最后通过将剩余元素相加来进行清理。

然后，我将这个 SIMD 实现的性能与一个普通的 for 循环进行了比较。该实验的结果可在此处获得：

SIMD vs. for-loop

如您所见，与 for 循环相比，这个实现确实显示了大约 60% 的加速，输入大小（即数组的长度）高达约 5M 元素。但是，对于较大的输入大小值，与 for 循环相关的性能会急剧下降，并且只产生大约 20% 的加速。

我无法解释这种性能的急剧下降。我或多或少地在内存中线性步进，因此缓存未命中和页面错误的影响对于两种实现来说应该大致相同。我在这里想念什么？有什么办法可以使这条曲线变平？任何想法将不胜感激。

Answer 1

对于大输入，数据在缓存之外，代码是内存有限的。
对于少量输入，数据在缓存中（即 L1 / L2 / L3 缓存），并且代码是计算受限的。
我假设您在性能测量之前没有尝试刷新缓存。

高速缓存在 CPU 内部，高速缓存和 ALU（或 SSE）单元之间的带宽非常高（高带宽 - 传输数据的时间更少）。
您的最高级别缓存（即 L3）大小约为 4MB 到 8MB（取决于您的 CPU 型号）。
大量数据必须位于 DDR SDRAM 上，即外部 RAM（在 CPU 之外）。
CPU 通过内存总线连接到 DDR SDRAM，带宽远低于高速缓存。

示例：
假设您的外部 RAM 类型是 Dual Channel DDR3 SDRAM 1600。 外部 RAM 和 CPU 之间的最大理论带宽约为 25GB/秒。

从 RAM 向 CPU 读取 100MBytes 数据（25GB/S）大约需要 100e6 / 25e9 = 4 毫秒。
根据我的经验，使用的带宽约为理论带宽的一半，因此读取时间约为 8 毫秒。

计算时间更短：
假设您的循环的每次迭代需要大约 2 个 CPU 时钟（只是一个示例）。
每次迭代处理 16 个字节的数据。
处理 100MB 的总 CPU 时钟大约需要 (100e6 / 16)*2 = 12500000 个时钟。
假设 CPU 频率为 3GHz。
SSE 的总处理时间约为 12500000 / 3e9 = 4.2msec。

如您所见，从外部 RAM 读取数据所需的时间是 SSE 计算时间的两倍。

由于数据传输和计算并行发生，总时间最长为 4.2 毫秒和 8 毫秒（即 8 毫秒）。

假设不使用 SSE 的循环需要两倍的计算时间，因此不使用 SSE 的计算时间约为 8.4 毫秒。

在上面的例子中，使用 SSE 的总改进大约是 0.4 毫秒。

注意：所选数字仅供参考。

---

基准：
我在我的系统上做了一些基准测试。
我正在使用 Windows 10 和 Visual Studio 2010。
基准测试：求和 100MBytes 的数据（求和 25*1024^2 32bits 整数）。

处理器

• 英特尔酷睿 i5 3550（常春藤桥）。
• CPU 基本频率为 3.3GHz。
• 测试期间的实际核心速度：3.6GHz（启用涡轮增压）。
• L1 数据缓存大小：32KBytes。
• 二级缓存大小：256Bytes（单核二级缓存大小）。
• L3 缓存大小：6MBytes。

内存：

• 8GB DDR3 双通道。
• RAM 频率：666MHz（相当于没有 DDR 的 1333MHz）。
• 内存理论最大带宽：(128*1333/8) / 1024 = 20.8GBytes/Sec。

---

1. 将 100MB 作为大块 与 SSE（外部 RAM 中的数据）相加。
   处理时间：6.22 毫秒
2. 将 1KB 相加 100 次与 SSE（缓存内的数据）。
   处理时间：3.86 毫秒
3. 总计 100MB 作为大块无 SSE（外部 RAM 中的数据）。
   处理时间：8.1 毫秒
4. 总和 1KB 100 次无 SSE（缓存内的数据）。
   处理时间：4.73 毫秒

---

已用内存带宽：100/6.22 = 16GB/Sec （数据大小除以时间）。
SSE 每次迭代的平均时钟数（缓存中的数据）：(3.6e9*3.86e-3)/(25/4*1024^2) = 2.1 clks/iteration （除以总 CPU按迭代次数计算时钟）。