如何从 API 使用 TensorFlow 部署和提供预测？答案

【问题标题】：How to deploy and serve prediction using TensorFlow from API?如何从 API 使用 TensorFlow 部署和提供预测？
【发布时间】：2016-05-04 09:42:24
【问题描述】：

通过谷歌教程，我们知道如何在 TensorFlow 中训练模型。但是，保存经过训练的模型，然后在生产服务器中使用基本的最小 python api 提供预测的最佳方法是什么。

我的问题基本上是关于 TensorFlow 最佳实践来保存模型并在实时服务器上提供预测，而不会影响速度和内存问题。由于 API 服务器将永远在后台运行。

一小段 python 代码将不胜感激。

【问题讨论】：

【解决方案1】：

TensorFlow Serving 是一个高性能、开源的机器学习模型服务系统，专为生产环境设计并针对 TensorFlow 进行了优化。初始版本包含基于gRPC 的 C++ 服务器和 Python 客户端示例。基本架构如下图所示。

要快速开始，请查看tutorial。

【讨论】：

谢谢你，杰瑞克。你知道是否有针对 TensortFlow Serving 的服务器端 python 实现的计划？
我不知道，因为核心库是 C++ 并且注重性能。您能否分享有关您的用例的更多信息？
这是有道理的。我想部署一个服务器，它将接收来自大量用户的请求，这些请求采用图像的形式，并返回推理结果（输入为请求图像的模型的输出）。我不清楚的是，大部分文档（即，在架构概述中定义“servables”）似乎暗示 TensorFlow Serving 实际上返回模型本身，而不是它们的输出（“Servables 是客户用来执行的底层对象计算")...我希望计算发生在服务器端，而不是客户端
是的，在我们的示例中，TensorFlow Serving 在 gRPC 服务器内部运行，服务器返回推理结果。顺便说一句，听起来您的系统最终可能看起来类似于本教程中介绍的内容：tensorflow.github.io/serving/serving_inception :)