在 TFLite v2.3 for ARM64 中启用 XNNPack

Question

TFLite 团队最近宣布在 TF v2.3 (https://blog.tensorflow.org/2020/07/accelerating-tensorflow-lite-xnnpack-integration.html) 中支持 XNNPack。这应该会为 ARM v8 内核上的浮点运算提供一些令人印象深刻的加速。

有谁知道如何为 TFLite 的 ARM64 构建启用 XNNPack？特别是基准测试应用程序将是在目标硬件上测试此新功能的好地方。通过在编译时向 Bazel 传递一个标志来启用 iOS 和 Android 支持。不幸的是，没有为构建 ARM64 板提供指导。构建说明（见下文）没有提供任何更新的指导，并且检查 download_dependencies.sh 并没有显示 XNNPack 正在从任何地方下载。

https://www.tensorflow.org/lite/guide/build_arm64

Answer 1

基于 Makefile 的构建尚不支持 XNNPACK。我们最近添加了对 ARM64 交叉编译的实验性支持（通过 bazel build 命令中的 --config=elinux_aarch64），这应该允许通过在构建命令中添加 --define tflite_with_xnnpack=true 来在构建时选择加入 XNNPACK。预计在下一个 TF 2.4 版本中交叉编译到 ARM64 的文档会有所改进，我们还将研究在尽可能多的平台上默认启用 XNNPACK。