Hadoop 3.2.1 ErasureCoding ISA-L 问题？

Question

我正在测试 hadoop 3.0 擦除编码.. 为了测试，我在hadoop 3.2.1中上传了100GB，结果如下图。 （5个数据节点）

3 份复制：150 分钟
E C : 250 分钟 (RS-3-2-1024k)

为了通过应用ISA-L来提高EC的速度，我设置了它并测试了运行，但速度还是一样的。

zlib: 真 /lib64/libz.so.1
zstd : 假
活泼：假
lz4：真正的修订：10301
bzip2: 假
openssl：假构建不支持 openssl。
ISA-L：真 /lib64/libisal.so.2

(1) 是老设备，不知是不是CPU不支持。 在哪里可以查看支持 ISA-L 的 CPU 列表？

CPU : Intel(R) Xeon(R) CPU E5-2609 v2 @ 2.50GHz

(2) 请告知是否有添加应用ISA-L的方法。

Answer 1

关于你的问题

(1) Tt是老设备，不知是不是CPU不支持。 在哪里可以查看支持 ISA-L 的 CPU 列表？

我正在经历

• Code Sample: Intel® ISA-L Erasure Code and Recovery
• Intel(R) Intelligent Storage Acceleration Library

并没有找到有关特定 CPU 的提示。

• Optimizing Storage Solutions Using the Intel® Intelligent Storage Acceleration Library

仅提及

根据平台功能，英特尔 ISA-L 可以在各种英特尔® 处理器系列上运行。 通过使用以下指令集加快计算速度可以获得改进：

• 英特尔® AES-NI – 英特尔® 高级加密标准 - 新指令
• 英特尔® SSE – 英特尔® 流 SIMD 扩展
• 英特尔® AVX – 英特尔® 高级矢量扩展
• 英特尔® AVX2 - 英特尔® 高级矢量扩展 2

英特尔® ISA-L 还包括单元测试、性能测试和用 C 编写的示例，可用作使用示例。*