没有 SIMD 的向量化相等测试

Question

我想对一个相等性测试进行矢量化，其中将矢量中的所有元素与相同的值进行比较，并将结果写入一个 8 位字数组。结果数组中的每个 8 位字应为零或一。 （这有点浪费，但是在这个问题中，对布尔值进行打包并不是一个导入细节）。这个函数可以写成：

#include <stdint.h>

void vecEq (uint8_t* numbers, uint8_t* results, int len, uint8_t target) {
  for(int i = 0; i < len; i++) {
    results[i] = numbers[i] == target;
  }
}

如果我们知道两个向量都是 256 位对齐的，我们可以首先将 target 广播到 AVX 寄存器，然后使用 SIMD 的 _mm256_cmpeq_epi8 一次执行 32 次相等测试。但是，在我正在使用的设置中，numbers 和results 都已由运行时分配（GHC 运行时，但这无关紧要）。它们都保证是 64 位对齐的。有没有办法向量化这个操作，最好不使用 AVX 寄存器？

我考虑过的方法是将 8 位字预先广播到 64 位字，然后一次与 8 个元素进行异或运算。这不起作用，因为我找不到矢量化方法将 XOR 的结果（零表示相等，其他任何表示不相等）转换为我需要的相等测试结果（0 表示不相等，1 表示相等，不应该存在其他任何东西）。粗略地说，我的草图是：

void vecEq (uint64_t* numbers, uint64_t* results, int len, uint_8 target) {
  uint64_t targetA = (uint64_t)target;
  uint64_t targetB = targetA<<56 | targetA<<48 | targetA<<40 | targetA<<32 | targetA<<24 | targetA<<16 | targetA<<8 | targetA;
  for(int i = 0; i < len; i++) {
    uint64_t tmp = numbers[i] ^ targetB;
    results[i] = ... something with tmp ...;
  }
}

Answer 1

进一步了解上面的 cmets（代码将很好地矢量化）。如果您使用的是 AVX，最好的策略通常是使用未对齐的加载/存储内在函数。如果您的数据碰巧对齐，它们不会产生额外成本，并且在硬件不对齐的情况下，它们的价格与硬件一样便宜。 （在 Intel CPU 上，跨越两个缓存行的加载/存储仍然会受到惩罚，也就是缓存行拆分）。

理想情况下，您仍然可以将缓冲区对齐 32，但如果您的数据必须来自 L2 或 L3 或 RAM，则未对齐通常不会产生可测量的差异。处理可能的未对齐的最佳策略通常只是让硬件处理它，而不是标量到对齐边界或像您对 SSE 或 AVX512 所做的事情，对齐再次很重要（任何未对齐都会导致每个加载/存储是缓存行拆分）。

只需使用_mm256_loadu_si256 / _mm256_storeu_si256 就可以了。

有趣的是，Visual C++ 将不再发出对齐的加载或存储，即使您请求它们。 https://godbolt.org/z/pL9nw9（例如 vmovups 而不是 vmovaps）

如果使用 GCC 编译，您可能希望使用 -march=haswell 或 -march=znver1 而不仅仅是 -mavx2，或者至少是 -mno-avx256-split-unaligned-load 和 -mno-avx256-split-unaligned-store so 256-bit unaligned loads compile to single instructions. 受益于这些 tune=generic 默认值的 CPU 不要'不支持 AVX2，例如 Sandybridge 和 Piledriver。