带有 Tensorflow 但不提供 TensorFlow 服务的 Flask 前端答案

【问题标题】：Flask frontend with Tensorflow but not Tensorflow serving带有 Tensorflow 但不提供 TensorFlow 服务的 Flask 前端
【发布时间】：2017-03-14 16:32:04
【问题描述】：

我有一个简单的 Tensorflow 3 层 MLP 模型，它采用 10 个数值的向量来预测单个数值输出。

我的网络应用程序在 Flask 框架下，客户端可以每分钟推断一个包含 10 个输入的向量，以从我的服务器接收他的预测，该服务器是 Tensorflow 训练模型所在的位置。

我的问题：对于我的简单应用程序是否有必要通过 gRPC 使用 Tensorflow 服务，或者如果 10 个值通过 Numpy 数组从 Flask REST 到我的 Tensorflow 服务器，是否最好找到一种方法来传递输入？后一种方法对图重新初始化有什么影响？如果不采用 Tensorflow 中的“服务”属性，是否需要重新初始化？对于找到实现 Flask/Tensorflow 方法的干净方法的任何帮助，我非常感谢。

【问题讨论】：

标签： json numpy flask machine-learning tensorflow

【解决方案1】：

没有必要将 gRPC 与 TensorFlow Serving 一起使用，这正是我们在示例和标准 model_server 中使用的。我对 Flask 不熟悉，但您可以拥有自己的 main.cc，它创建一个类似于 https://github.com/tensorflow/serving/blob/master/tensorflow_serving/model_servers/main.cc 的 ServerCore，但具有非 gRPC 前端。

这不会影响实际的服务器模型管理，例如图初始化和加载哪些模型，它只会更改服务器的 API。

【讨论】：

【解决方案2】：

我发现在 python 中构建一个可以导入并与 Flask 一起使用的 grcp 客户端更容易。代码在这里，如果你想看看：

https://github.com/epigramai/tfserving_predict_client/

【讨论】：