【发布时间】:2022-03-03 14:16:01
【问题描述】:
/* Inner product. Accumulate in temporary */
void inner4(vec_ptr u, vec_ptr v, data_t *dest)
{
long i;
long length = vec_length(u);
data_t *udata = get_vec_start(u);
data_t *vdata = get_vec_start(v);
data_t sum = (data_t) 0;
for (i = 0; i < length; i++) {
sum = sum + udata[i] * vdata[i];
}
*dest = sum;
}
编写上述问题中描述的内积过程的一个版本 使用 6 × 1a 循环展开。 对于 x86-64,我们对展开版本的测量 整数数据的 CPE 为 1.07,但浮点数据仍为 3.01。
我的 6*1a 版本循环展开代码
void inner4(vec_ptr u, vec_ptr v, data_t *dest){
long i;
long length = vec_length(u);
data_t *udata = get_vec_start(u);
data_t *vdata = get_vec_start(v);
long limit = length -5;
data_t sum = (data_t) 0;
for(i=0; i<limit; i+=6){
sum = sum +
((udata[ i ] * vdata[ i ]
+ udata[ i+1 ] * vdata[ i+1 ])
+ (udata[ i+2 ] * vdata[ i+2 ]
+ udata[ i+3 ] * vdata[ i+3 ]))
+ ((udata[ i+4 ] * vdata[ i+4 ])
+ udata[ i+5 ] * vdata[ i+5 ]);
}
for (i = 0; i < length; i++) {
sum = sum + udata[i] * vdata[i];
}
*dest = sum;
}
问题:解释为什么在 Intel Core i7 Haswell 处理器上运行的任何(标量)版本的内积过程都无法达到低于 1.00 的 CPE。
知道如何解决这个问题吗?
【问题讨论】:
-
不确定您的“6 × 1a”术语是什么意思,但标准方法是使用
sum0、sum1等或sum[6]数组,然后展开6。在最后添加。有关循环展开的另一个示例,请参阅AVX performance slower for bitwise xor op and popcount,另请参阅Loop unrolling to achieve maximum throughput with Ivy Bridge and Haswell。 (那些也使用 SIMD;如果有一个规范的 Q&A 只使用标量展开,则为 IDK) -
你能再看一遍我的问题吗?
-
解释为什么在 Intel Core i7 Haswell 处理器上运行的任何(标量)版本的内积过程都不能达到低于 1.00 的 CPE。 - 每个元素需要 2 次负载,并且只有 2 个装载端口,这是一个硬吞吐量瓶颈。假设您将“元素”计为
i值,一对浮点数,每个来自udata[i]和vdata[i]。 FP FMA 吞吐量瓶颈是其一半; Haswell 能够每个时钟两个标量 FMA,但每个 FMA 的点积需要 2 个负载。 -
Re: 你的代码对瓶颈没有帮助:
sum + x + y + z没有-ffast-math与sum += x;sum += y;的操作顺序相同......所以你没有改变任何关于FP 延迟瓶颈。可行的是sum += ...作为一种无需多个累加器的展开方式,因为这样每组元素的总和是独立的。 (这种方式会花费更多的数学运算,例如从 mul 开始并以 add 结束,而不是将所有内容都压缩到 FMA 中。但这不是瓶颈。 -
请参阅AVX performance slower for bitwise xor op and popcount,了解 GCC 使用
-ffast-math为您执行此操作的示例,其中手动展开无法使用多个累加器。
标签: c x86-64 cpu-architecture dot-product loop-unrolling