Tensorflow Serving - grpc._channel._Rendezvous：<_Rendezvous 的 RPC 终止于：status = StatusCode。不可用答案

【问题标题】：Tensorflow Serving - grpc._channel._Rendezvous: <_Rendezvous of RPC that terminated with: status = StatusCode. UNAVAILABLETensorflow Serving - grpc._channel._Rendezvous：<_Rendezvous 的 RPC 终止于：status = StatusCode。不可用
【发布时间】：2020-03-04 02:15:05
【问题描述】：

我在尝试使用 TF 服务服务器为 TF 模型提供服务时遇到以下问题

grpc._channel._Rendezvous: <_Rendezvous of RPC that terminated with:
    status = StatusCode.UNAVAILABLE
    details = "Connect Failed"
    debug_error_string = "{"created":"@1583228501.130612312","description":"Failed to create subchannel","file":"src/core/ext/filters/client_channel/client_channel.cc","file_line":2267,"referenced_errors":[{"created":"@1583228501.130568965","description":"Pick Cancelled","file":"src/core/ext/filters/client_channel/lb_policy/pick_first/pick_first.cc","file_line":242,"referenced_errors":[{"created":"@1583228501.130161019","description":"Connect Failed","file":"src/core/ext/filters/client_channel/subchannel.cc","file_line":962,"grpc_status":14,"referenced_errors":[{"created":"@1583228501.130118961","description":"Failed to connect to remote host: Connection refused","errno":111,"file":"src/core/lib/iomgr/tcp_client_posix.cc","file_line":207,"os_error":"Connection refused","syscall":"connect","target_address":"ipv4:127.0.0.1:8500"}]}]}]}"

我正在使用如下的docker

来自张量流/服务：1.14.0

tensorflow_model_server 
   --port=${SERVING_PORT:-8500} 
   --rest_api_port=8501 
   --model_config_file=/tf_models.config 
   --tensorflow_intra_op_parallelism=1
   --tensorflow_inter_op_parallelism=1

基本上，服务模型服务器运行良好。但有时它会引发上述错误（可能是因为对服务服务器的请求很多）。我是否需要增加 parallelism 参数，或者有什么方法可以调整服务器以支持更多请求？

【问题讨论】：

标签： tensorflow tensorflow-serving

【解决方案1】：

这显然表明 TensorFlow 服务器和客户端之间无法建立通信。

我怀疑用于指定默认环境变量值 (${SERVING_PORT:-8500}) 的表示法不被支持，无论出于何种原因。

对此进行测试的一种方法是简单地对端口进行硬编码并确认此更改是否解决了问题。

【讨论】：

感谢您的评论，但奇怪的是问题并非一直发生，服务服务器仍然运行良好。您是否认为它可能会收到很多请求并自动重启，在重启期间，客户端无法连接？
这很奇怪...我认为除非有新型号可用，否则它不应该重新启动...是否有新型号可用？