【发布时间】：2016-11-09 16:48:54
【问题描述】：
我使用 TensorFlow 的高级机器学习 API (tf.contrib.learn) 构建了一个 TensorFlow 模型。我需要将此模型作为 Linux/Unix 服务运行。或将模型导出为可执行文件。这可能吗？如果是，我该怎么做？
感谢任何帮助。
【问题讨论】：
标签： linux unix tensorflow tensorflow-serving
【发布时间】：2016-11-09 16:48:54
【问题描述】：
最好的方法可能是在本地机器上运行tensorflow server，然后通过 RPC 连接到它。您可以将服务命令放在/etc/initd 或/etc/systemd。
【讨论】：
-
我需要从我的服务器上对我的训练模型进行预测，因为我需要在 300 毫秒（理想情况下为 100 毫秒）内做出预测响应，如果我们调用另一个模型，这是不可行的服务器（TensorFlow 服务器）。关于如何实现的任何想法？
-
您仍然可以在本地计算机上执行 RPC。这不应该花费超过 10 毫秒。否则，您可以使用C API。
-
我怎样才能从我的本地机器上进行一次不到 10 秒的 RPC 调用？目前，我有一个 Ubuntu 系统，我在其中设置了 TensorFlow Serving 并导出了经过训练的模型。但是，当我对保存的模型进行预测时，大约需要 2-3 分钟才能做出预测并将其打印到我的控制台中
-
我说的是 RPC 开销本身。如果模型需要这么多时间（假设它是计算成本，而不是数据传输），那么您必须创建一个较小的模型、批量预测或并行化。在您的情况下，可能是所有这三种情况的组合。
-
即使我运行 TensorFlow Serving 提供的示例程序，例如“mnist_client”程序，打印响应（预测）也需要大约 3-4 秒。这让我想知道我的模型是否很大，或者任何模型通常都需要这么长时间？