用于嵌入式 linux 的 tensorflow-lite 和 nnapi 硬件加速

【问题标题】：tensorflow-lite and nnapi hw acceleration for embedded linux用于嵌入式 linux 的 tensorflow-lite 和 nnapi 硬件加速
【发布时间】：2018-05-14 06:26:27
【问题描述】：

TensorFlow-lite 用于嵌入式 linux 系统，Android NNAPI 用于 Android 系统的硬件加速。我确实想通过 Tensorflow-Lite 硬件加速找到嵌入式 linux 而非 android 的解决方案。

【问题讨论】：

有什么更新吗？我想在 android 7 和 8 上使用 nnapi，但它只在 8.1 上可用
嵌入式平台非常具体，可能需要特定的加速器。您应该阐明您想要加速的确切平台。

标签： android tensorflow-lite nnapi

【解决方案1】：

NNAPI 是 Tensorflow-Lite 目前唯一可用的硬件加速。话虽如此，Tensorflow-Lite 框架旨在通过使用硬件加速的自定义 Ops 轻松扩展。此外，tensorflow lite 内置操作已经利用特定的 CPU 指令（ARM NEON、Intel SSE）来加速推理。

您是否针对特定的嵌入式 linux 系统？

【讨论】：

我想问题是如何在 Linux 上使用 NNAPI。我认为 NNAPI 仅存在于 Android 8.1+ 上（但不存在于 Linux 上）。 TFLite 适用于 Android 和 Linux。但是 TFLite + NNAPI 组合仅在 Android 上可用。如我错了请纠正我。 tensorflow.org/lite/performance/hexagon_delegate