在手机硬件上运行 ML 模型的可行性？答案

【问题标题】：Feasibility of running an ML model on phone hardware?在手机硬件上运行 ML 模型的可行性？
【发布时间】：2019-10-31 04:21:23
【问题描述】：

我已经训练了一个 TensorFlow 模型，它每次操作需要我的 RTX2080 几秒钟（另外还有 20-30 秒来初始化模型）。

我一直在考虑将其转变为在 tensorflow lite 上运行的 iOS/Android 应用，但除了将模型转换为 tensorflow lite 模型和其他一切的技术挑战之外，

我想知道即使在具有内置 GPU 的相当现代的手机上也能在手机硬件上运行它的可行性，这对于实际用途来说仍然可能太慢吗？

任何使用 tensorflow lite 构建了 iOS/Android 应用程序且手机负责计算的人都可以就性能和其他实际考虑发表评论吗？

例如，让我自己在 AWS 上的服务器处理请求的唯一另一种选择是，如果应用程序有大量用途，那么这将变成一笔大笔开支。

【问题讨论】：

如果没有更多详细信息，我不确定您正在尝试解决什么问题/模型/在任何人都可以提供帮助的设备上运行推理。您至少可以查看现有的 tensorflow lite 样本（图像分类、文本分类）以了解可行的方法。
在设备上，您是指使用先前训练的模型简单地执行推理吗？或者关于在设备上训练模型？当您再次说在您的 RTX2080 上“每次操作需要几秒钟”时，那是训练还是推理？

【解决方案1】：

我使用 TensorFlow lite 快速创建了一个图像识别应用程序，但没有发现任何性能问题。预测持续时间从 3 到 5 秒不等，我个人认为这还不错。所以我建议使用 TF 模型继续您的应用程序。谢谢！

【讨论】：