【问题标题】:Missing instruction `_mm_crc32_u64` when installing clickhouse-cityhash on OSX 10.14.5在 OSX 10.14.5 上安装 clickhouse-cityhash 时缺少指令“_mm_crc32_u64”
【发布时间】:2019-10-26 04:44:58
【问题描述】:

我正在尝试在 OSX 10.14.5 上安装 clickhouse-cityhash 和 pip,但它失败并显示以下(删节)输出:

src/city.cc:396:5: error: use of undeclared identifier '_mm_crc32_u64'
    CHUNK(1, 1); CHUNK(k0, 0);
    ^
...
fatal error: too many errors emitted, stopping now [-ferror-limit=]
  20 errors generated.
  error: command 'cc' failed with exit status 1

我也尝试通过CC=gcc 和CC=g++ 进行编译,但无济于事。

失败时运行的命令是:

cc -fno-strict-aliasing -fno-common \
   -dynamic -g -Os -pipe -fno-common \
   -fno-strict-aliasing -fwrapv -DENABLE_DTRACE \
   -DMACOSX -DNDEBUG -Wall -Wstrict-prototypes \
   -Wshorten-64-to-32 -DNDEBUG -g -fwrapv -Os -Wall \
   -Wstrict-prototypes -DENABLE_DTRACE -arch i386 \
   -arch x86_64 -pipe -Iinclude \
   -I/System/Library/Frameworks/Python.framework/Versions/2.7/include/python2.7 \
   -c src/city.cc -o build/temp.macosx-10.14-intel-2.7/src/city.o \
   -O3 -msse4.2 -Wno-unused-value -Wno-unused-function

在尝试理解问题时,我查看了source code,我可以看到四个对_mm_crc32_u64 的调用,它们构成了错误日志中提到的CHUNK 预处理器指令的一部分:

f = _mm_crc32_u64(f, a);                                    \
g = _mm_crc32_u64(g, b);                                    \
h = _mm_crc32_u64(h, c);                                    \
i = _mm_crc32_u64(i, d);                                    \
j = _mm_crc32_u64(j, e);                                    \

我在Intel Intrinsics Guide 中找到了对_mm_crc32_u64 的引用,所以我的理解是它是作为 C 函数的英特尔内部指令,是 SSE4.2 指令集的一部分。

我认为我的机器不包含 SSE4.2 指令集,但是当我运行以下命令时:

sysctl -a | grep cpu.features

SSE4.2被列入名单:

machdep.cpu.features:FPU VME DE PSE TSC MSR PAE MCE CX8 APIC SEP MTRR PGE MCA CMOV PAT PSE36 CLFSH DS ACPI MMX FXSR SSE SSE2 SS HTT TM PBE SSE3 PCLMULQDQ DTES64 MON DSCPL VMX SMX EST TM2 SSSE3 FMA CX16 TPR PDCM SSE4.1 SSE4.2 x2APIC MOVBE POPCNT AES PCID XSAVE OSXSAVE SEGLIM64 TSCTMR AVX1.0 RDRAND F16C

因此,我是否应该期望_mm_crc32_u64 可用,如果可以,此错误的可能原因是什么?

如果没有,我可以做些什么来提供这些说明?

【问题讨论】:

  • 你的编译器(我假设是 OS X 的 clang)对 -arch i386 -arch x86_64 做了什么?如果它生成 32 位代码,则 64 位整数寄存器不可用。所以 32 位代码中最宽的 CRC 是_mm_crc32_u32。 -msse4.2(或更好的 -march=native)应该启用 CRC 指令,它们应该在 #include <immintrin.h> 中声明
  • 谢谢彼得!这看起来是一个很好的领先优势。当你指出它是有道理的。我没有设置这些标志,因此我将研究这是如何发生的,并在运行pip install 时尝试覆盖它们(如果可能)。
  • 使用正常的 clang(不是 Apple 的版本),-arch i386 不会做任何事情。 x86 clang 的默认设置仍然是构建 64 位代码。 godbolt.org/z/ej1kaK 表明 -msse4.2 足以让它定义内在函数。 (尽管-march=native 仍然是更好的选择,可以为您的 CPU 设置调优选项并启用其他功能,如 AVX2、FMA、BMI1/2 和 popcnt)。
  • @PeterCordes 当您说“使用正常的 clang(不是 Apple 的版本)时,-arch i386 不会做任何事情”,答案突然变得非常明显——不要使用 Apple 的 clang。我发现我通过 brew 安装了另一个版本的 clang,当我使用它时,它运行良好。太感谢了!我现在就发布一个答案,或者如果您想发布一个答案,我很乐意将其标记为答案?
  • 我没有 Mac,所以我不知道答案的详细信息。随意将您喜欢的任何措辞从我的 cmets 复制到您的答案中。不过,默认编译器不起作用仍然很奇怪。它正在制作 64 位代码,对吧?

标签: python c++ x86-64 intrinsics clickhouse


【解决方案1】:

非常感谢@PeterCordes 对上述问题 cmets 的非常宝贵的观察!


pip install clickhouse-cityhash 期间失败的构建命令包括-arch i386 标志。 x86 clang 的默认行为是构建 64 位代码,尽管存在此标志。

但是,这似乎不是 Apple clang 的默认行为。如果生成 32 位代码,则 _mm_crc32_u32 将是可用的最大 CRC,这意味着未定义 _mm_crc32_u64。

因此,一种解决方案是不使用 Apple clang。

大多数使用 OSX 的开发人员都会熟悉 brew 包管理器并安装它。您可能会发现您已经通过brew 安装了一个版本的gcc 作为另一个包的依赖项。

检查以下内容:

brew list | grep gcc

如果没有,请安装:

brew install gcc

可执行文件应在您的$PATH(通常在/usr/local/bin)中以gcc 或类似的形式提供——我的以gcc-8 提供。

要使用,只需定义要使用的gcc 和CC envvar 并运行pip install;例如:

CC=gcc-8 pip install clickhouse-cityhash

希望这会有所帮助:)

【讨论】:

  • 您是否在没有任何 -arch 选项的情况下测试了编译器命令行,看看这是否真的是 Apple clang 的原因? (而不是破碎的immintrin.h 或其他东西)。例如cd 到 make 所在的位置,然后复制/粘贴确切的命令,但删除 -arch 的东西。 (顺便说一句,gcc 不是 clang。也许你之前说过 通过 brew 安装了另一个版本的 clang 时记错了。它们都是非常好的编译器,但是即使没有配置文件,clang 也会展开小循环 -引导式优化。但假设是正常的 GCC 构建,它们具有完全独立的优化器后端。)
  • 感谢您的澄清——这里已经很晚了,所以我的描述可能有点松散。我会在早上进行编辑和更多测试。
  • 无论如何,这个答案或多或少地确认了您正在构建的源代码确实正确使用#include <immintrin.h> 来获取原型。这使我想起;您正在编译 C++,而不是 C。在 C 中,调用没有声明的函数从技术上讲不是错误,如果您尝试使用不是的内在函数,您只会收到链接错误(以及关于编译时隐式声明的警告) t 可用(因为它们看起来像函数名称)。我修复了您问题上的标签。
  • 嗨 @PeterCordes — 感谢您的澄清。我认为这显然超出了我的知识范围:D 我非常感谢您的反馈,请随时添加或更正您认为有帮助的任何内容。我还没有时间回到寻找和澄清这个问题,希望很快。再次感谢!
  • 我觉得不错; “使用不同的编译器”有效。它没有告诉我们为什么 Apple Clang 不起作用,但也许其他人可以回答这个问题。主线 clang 接受 -msse4.2 所以 IDK 出了什么问题。
猜你喜欢
  • 2013-01-06
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2016-03-30
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多