【发布时间】:2019-10-26 04:44:58
【问题描述】:
我正在尝试在 OSX 10.14.5 上安装 clickhouse-cityhash 和 pip,但它失败并显示以下(删节)输出:
src/city.cc:396:5: error: use of undeclared identifier '_mm_crc32_u64'
CHUNK(1, 1); CHUNK(k0, 0);
^
...
fatal error: too many errors emitted, stopping now [-ferror-limit=]
20 errors generated.
error: command 'cc' failed with exit status 1
我也尝试通过CC=gcc 和CC=g++ 进行编译,但无济于事。
失败时运行的命令是:
cc -fno-strict-aliasing -fno-common \
-dynamic -g -Os -pipe -fno-common \
-fno-strict-aliasing -fwrapv -DENABLE_DTRACE \
-DMACOSX -DNDEBUG -Wall -Wstrict-prototypes \
-Wshorten-64-to-32 -DNDEBUG -g -fwrapv -Os -Wall \
-Wstrict-prototypes -DENABLE_DTRACE -arch i386 \
-arch x86_64 -pipe -Iinclude \
-I/System/Library/Frameworks/Python.framework/Versions/2.7/include/python2.7 \
-c src/city.cc -o build/temp.macosx-10.14-intel-2.7/src/city.o \
-O3 -msse4.2 -Wno-unused-value -Wno-unused-function
在尝试理解问题时,我查看了source code,我可以看到四个对_mm_crc32_u64 的调用,它们构成了错误日志中提到的CHUNK 预处理器指令的一部分:
f = _mm_crc32_u64(f, a); \
g = _mm_crc32_u64(g, b); \
h = _mm_crc32_u64(h, c); \
i = _mm_crc32_u64(i, d); \
j = _mm_crc32_u64(j, e); \
我在Intel Intrinsics Guide 中找到了对_mm_crc32_u64 的引用,所以我的理解是它是作为 C 函数的英特尔内部指令,是 SSE4.2 指令集的一部分。
我认为我的机器不包含 SSE4.2 指令集,但是当我运行以下命令时:
sysctl -a | grep cpu.features
SSE4.2被列入名单:
machdep.cpu.features:FPU VME DE PSE TSC MSR PAE MCE CX8 APIC SEP MTRR PGE MCA CMOV PAT PSE36 CLFSH DS ACPI MMX FXSR SSE SSE2 SS HTT TM PBE SSE3 PCLMULQDQ DTES64 MON DSCPL VMX SMX EST TM2 SSSE3 FMA CX16 TPR PDCM SSE4.1 SSE4.2 x2APIC MOVBE POPCNT AES PCID XSAVE OSXSAVE SEGLIM64 TSCTMR AVX1.0 RDRAND F16C
因此,我是否应该期望_mm_crc32_u64 可用,如果可以,此错误的可能原因是什么?
如果没有,我可以做些什么来提供这些说明?
【问题讨论】:
-
你的编译器(我假设是 OS X 的 clang)对
-arch i386 -arch x86_64做了什么?如果它生成 32 位代码,则 64 位整数寄存器不可用。所以 32 位代码中最宽的 CRC 是_mm_crc32_u32。-msse4.2(或更好的-march=native)应该启用 CRC 指令,它们应该在#include <immintrin.h>中声明 -
谢谢彼得!这看起来是一个很好的领先优势。当你指出它是有道理的。我没有设置这些标志,因此我将研究这是如何发生的,并在运行
pip install时尝试覆盖它们(如果可能)。 -
使用正常的 clang(不是 Apple 的版本),
-arch i386不会做任何事情。 x86 clang 的默认设置仍然是构建 64 位代码。 godbolt.org/z/ej1kaK 表明-msse4.2足以让它定义内在函数。 (尽管-march=native仍然是更好的选择,可以为您的 CPU 设置调优选项并启用其他功能,如 AVX2、FMA、BMI1/2 和 popcnt)。 -
@PeterCordes 当您说“使用正常的 clang(不是 Apple 的版本)时,-arch i386 不会做任何事情”,答案突然变得非常明显——不要使用 Apple 的
clang。我发现我通过 brew 安装了另一个版本的 clang,当我使用它时,它运行良好。太感谢了!我现在就发布一个答案,或者如果您想发布一个答案,我很乐意将其标记为答案? -
我没有 Mac,所以我不知道答案的详细信息。随意将您喜欢的任何措辞从我的 cmets 复制到您的答案中。不过,默认编译器不起作用仍然很奇怪。它正在制作 64 位代码,对吧?
标签: python c++ x86-64 intrinsics clickhouse