tensorflow_model_server 如何将其 HTTP/REST 绑定到 0.0.0.0（默认 localhost）？答案

【问题标题】：How can tensorflow_model_server bind its HTTP/REST on 0.0.0.0 (default localhost)?tensorflow_model_server 如何将其 HTTP/REST 绑定到 0.0.0.0（默认 localhost）？
【发布时间】：2018-11-27 06:36:23
【问题描述】：

我发现docker image TensorFlow/serving 实际上使用了可执行文件tensorflow_model_server 来启动一个服务器。所以我附加到一个 docker 容器中手动启动服务器。

我的命令：

tensorflow_model_server --model_base_path=/root/serving/my_image_classifier/ --rest_api_port=8501 --model_name=ImageClassifier

此命令启动服务器，并带有日志：

2018-11-27 03:56:43.302391: I tensorflow_serving/core/loader_harness.cc:86] Successfully loaded servable version {name: ImageClassifier version: 2}

2018-11-27 03:56:43.304439: I tensorflow_serving/model_servers/server.cc:286] Running gRPC ModelServer at 0.0.0.0:8500 ...

[warn] getaddrinfo: address family for nodename not supported

2018-11-27 03:56:43.306009: I tensorflow_serving/model_servers/server.cc:302] Exporting HTTP/REST API at:localhost:8501

正如它所说，它的 HTTP/REST API 导出为 localhost。这是不对的，因为如果一个服务器绑定在 docker 中的 localhost 上，它就不能从外部附加。

我仔细阅读了--help，但没有找到任何有用的东西。

那么，我怎样才能让它绑定在 0.0.0.0 上呢？

TensorFlow 模型服务器版本：

TensorFlow ModelServer: 1.12.0-rc0+dev.sha.87470f0
TensorFlow Library: 1.12.0

【问题讨论】：

我查看了代码，我认为它不容易配置。您可以分叉 TensorFlow 服务，并修改代码（尽管这似乎不是一件容易的事）。你也可以打开issue on the tensorflow serving Github
不能在 Docker 镜像中暴露端口吗？

标签： tensorflow tensorflow-serving

【解决方案1】：

事实上，即使日志显示 HTTP/REST API 绑定在“localhost”上，它实际上可以附加在 docker 容器之外。

为什么我不能附加这是另一个奇怪的问题（机器重启后自动消失）。

但是，我仍然认为 tensorflow_model_server 在日志中使用“localhost”是不对的，尤其是当它告诉 RPC bind on “0.0.0.0”时。

我应该打开一个问题。

【讨论】：

你找到解决方案了吗？我看到了同样的问题并试图理解这个问题。

【解决方案2】：

在下面的命令中，由于您提到了rest_api_port=8501，它与localhost（默认值）绑定。

tensorflow_model_server --model_base_path=/root/serving/my_image_classifier/ --rest_api_port=8501 --model_name=ImageClassifier

如果你想将它绑定到某个IP地址，比如0.0.0.0，你可以尝试将它的值传递为

rest_api_port=0.0.0.0:8501

【讨论】：

这是不正确的。命令失败，cannot parse int value
这失败了。不敢相信 Tensorflow 支持不能再支持我们了。