【问题标题】:loop unrolling not giving expected speedup for floating-point dot product循环展开没有为浮点点积提供预期的加速
【发布时间】:2022-03-03 14:16:01
【问题描述】:
 /* Inner product. Accumulate in temporary */
  void inner4(vec_ptr u, vec_ptr v, data_t *dest)
{
     long i;
     long length = vec_length(u);
     data_t *udata = get_vec_start(u);
     data_t *vdata = get_vec_start(v);
     data_t sum = (data_t) 0;

        for (i = 0; i < length; i++) {
                 sum = sum + udata[i] * vdata[i];
       }
  *dest = sum;
 }

编写上述问题中描述的内积过程的一个版本 使用 6 × 1a 循环展开。 对于 x86-64,我们对展开版本的测量 整数数据的 CPE 为 1.07,但浮点数据仍为 3.01。

我的 6*1a 版本循环展开代码

 void inner4(vec_ptr u, vec_ptr v, data_t *dest){
       long i;
       long length = vec_length(u);
       data_t *udata = get_vec_start(u);
       data_t *vdata = get_vec_start(v);
       long limit = length -5;
       data_t sum = (data_t) 0;

      for(i=0; i<limit; i+=6){
             sum = sum +
                   ((udata[ i ] * vdata[ i ]
                  + udata[ i+1 ] * vdata[ i+1 ])
                  + (udata[ i+2 ] * vdata[ i+2 ]
                  + udata[ i+3 ] * vdata[ i+3 ]))
                   + ((udata[ i+4 ] * vdata[ i+4 ])
                  + udata[ i+5 ] * vdata[ i+5 ]);
      }
     for (i = 0; i < length; i++) {
             sum = sum + udata[i] * vdata[i];
   }
  *dest = sum;
      
 }

问题:解释为什么在 Intel Core i7 Haswell 处理器上运行的任何(标量)版本的内积过程都无法达到低于 1.00 的 CPE。

知道如何解决这个问题吗?

【问题讨论】:

  • 不确定您的“6 × 1a”术语是什么意思,但标准方法是使用sum0、sum1 等或sum[6] 数组,然后展开6。在最后添加。有关循环展开的另一个示例,请参阅AVX performance slower for bitwise xor op and popcount,另请参阅Loop unrolling to achieve maximum throughput with Ivy Bridge and Haswell。 (那些也使用 SIMD;如果有一个规范的 Q&A 只使用标量展开,则为 IDK)
  • 你能再看一遍我的问题吗?
  • 解释为什么在 Intel Core i7 Haswell 处理器上运行的任何(标量)版本的内积过程都不能达到低于 1.00 的 CPE。 - 每个元素需要 2 次负载,并且只有 2 个装载端口,这是一个硬吞吐量瓶颈。假设您将“元素”计为i 值,一对浮点数,每个来自udata[i] 和vdata[i]。 FP FMA 吞吐量瓶颈是其一半; Haswell 能够每个时钟两个标量 FMA,但每个 FMA 的点积需要 2 个负载。
  • Re: 你的代码对瓶颈没有帮助:sum + x + y + z 没有-ffast-math 与sum += x; sum += y; 的操作顺序相同......所以你没有改变任何关于FP 延迟瓶颈。可行的是sum += ... 作为一种无需多个累加器的展开方式,因为这样每组元素的总和是独立的。 (这种方式会花费更多的数学运算,例如从 mul 开始并以 add 结束,而不是将所有内容都压缩到 FMA 中。但这不是瓶颈。
  • 请参阅AVX performance slower for bitwise xor op and popcount,了解 GCC 使用 -ffast-math 为您执行此操作的示例,其中手动展开无法使用多个累加器。

标签: c x86-64 cpu-architecture dot-product loop-unrolling


【解决方案1】:

您的展开对 FP 延迟瓶颈没有帮助:

没有-ffast-math 的sum + x + y + z 的操作顺序与sum += x; sum += y; 的操作顺序相同……所以您还没有对贯穿所有+ 操作的单个依赖链做任何事情。循环开销(或前端吞吐量)不是瓶颈,它是 Haswell 上 addss 的 3 个周期延迟,所以这个展开基本上没有区别。

sum += u[i]*v[i] + u[i+1]*v[i+1] + ... 可以在没有多个累加器的情况下展开,因为 然后每组元素的总和是独立的。

这样会花费更多的数学运算,例如以 mul 开头并以 add 结尾,但如果您使用 -march=haswell 编译,中间的仍然可以收缩为 FMA。请参阅AVX performance slower for bitwise xor op and popcount 上的 cmets,了解 GCC 将像 sum += u0*v0; sum += u1*v1 这样的幼稚展开变成 sum += u0*v0 + u1*v1; 的示例。在这种情况下,问题略有不同:平方差之和,如sum += (u0-v0)**2 + (u1-v1)**2;,但归结为最终执行一些乘法和加法的相同延迟问题。

解决问题的另一种方法是使用多个累加器,允许所有操作都是 FMA。但是 Haswell 有 5 周期延迟 FMA 和 3 周期延迟 addss,因此单独添加 sum += ...,而不是作为 FMA 的一部分,实际上有助于解决 Haswell 的延迟瓶颈(与 Skylake add/ sub/mul 都是 4 个周期的延迟)。以下所有内容都显示了使用多个累加器展开,而不是像第一个那样将组加在一起以实现成对求和,就像你正在做的那样:


FP 数学指令吞吐量 不是现代 CPU 上大点积的瓶颈,只是延迟。或者,如果展开足够多,则加载吞吐量。

解释为什么在英特尔酷睿 i7 Haswell 处理器上运行的任何(标量)版本的内积过程都无法实现低于 1.00 的 CPE。

每个元素需要 2 个负载,并且只有 2 个负载端口,这是一个硬吞吐量瓶颈。 (https://agner.org/optimize//https://www.realworldtech.com/haswell-cpu/5/)

我假设您将“元素”计数为 i 值,一对浮点数,每个浮点数来自 udata[i] 和 vdata[i]。 FP FMA 吞吐量瓶颈在 Haswell 上也是 2/时钟(无论它们是标量、128 位还是 256 位向量),但每个 FMA 的点积需要 2 个负载。从理论上讲,即使是 Sandybridge 甚至 K8 也可以通过单独的 mul 和 add 指令实现每个时钟 1 个元素,因为它们都支持每个时钟 2 个负载,并且具有足够宽的管道来通过管道获取 load / mulss / adds有空余的空间。

【讨论】:

    猜你喜欢
    • 2019-03-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-04-09
    • 2018-05-12
    相关资源
    最近更新 更多