有没有办法为 Android 的 tensorflowlite 启用 gpu答案

【问题标题】：Is there a way to enable gpu for tensorflowlite for android有没有办法为 Android 的 tensorflowlite 启用 gpu
【发布时间】：2018-04-11 20:09:31
【问题描述】：

有没有办法为 tensorflowlite for android 启用 gpu？我在 android 中使用带有 tensorflow lite 的 inceptionv3 预训练模型，但推理大约需要 1-1.5 秒。我检查了 android 神经网络 api，但它只支持 android 8.1 及更高版本。

【问题讨论】：

我遇到了同样的问题。我试过 TensorFlow Lite，发现它更快。但是用 toco 从 pb 到 tflite 的转换对我来说很难。
如果您有关于转换的具体问题，我可以为您提供帮助。我花了好几个小时来处理它。
还没有，但我们正在努力。

标签： android tensorflow tensorflow-lite

【解决方案1】：

据我所知，市场上的大多数 Android 手机都配备了带 Adreno GPU 的高通芯片组。高通尚不支持 Adreno GPU 的接口，这意味着即使您将模型转换为 tflite，您获得的大部分加速都来自 Neon 优化，而不是来自 GPU。有计划支持下一代手机的 DSP，但到目前为止，市场上还没有支持 tflite 和 Qualcomm DSP (HVX) 的手机。希望这会有所帮助。

【讨论】：