多张量流服务模型的 Docker 命令？

Question

我正在尝试使用 tf_serving 的 docker 版本执行这个正常的 tf_serving 命令（可以正常工作）。我不确定为什么它不起作用..有什么建议吗？我是 Docker 新手！

普通 tf_serving 命令：

tensorflow_model_server \
--model_config_file=/opt/tf_serving/model_config.conf \
--port=6006

这是我的 model_config.conf 的样子：

model_config_list: {
  config: {
    name: "model_1",
    base_path: "/opt/tf_serving/model_1",
    model_platform: "tensorflow",
  },
  config: {
    name: "model_2",
    base_path: "/opt/tf_serving/model_2",
    model_platform: "tensorflow",
  },
}

我正在尝试但不起作用的命令的 Docker 版本：

docker run --runtime=nvidia \
-p 6006:6006 \
--mount type=bind,source=/opt/tf_serving/model_1,target=/models/model_1/ \
--mount type=bind,source=/opt/tf_serving/model_2,target=/models/model_2/ \
--mount type=bind,source=/opt/tf_serving/model_config.conf,target=/config/model_config.conf \
-t tensorflow/serving:latest-gpu --model_config_file=/config/model_config.conf

错误：

2019-04-13 19:41:00.838340：E tensorflow_serving/sources/storage_path/file_system_storage_path_source.cc:369] FileSystemStoragePathSource 遇到文件系统访问错误：找不到可服务模型_1 的基本路径 /opt/tf_serving/model_1

Answer 1

发现问题！您必须更改 model_config.conf 中的模型路径，如下所示，上面的 docker 命令将起作用并加载两个模型！

model_config_list: {
  config: {
    name: "model_1",
    base_path: "/models/model_1",
    model_platform: "tensorflow",
  },
  config: {
    name: "model_2",
    base_path: "/models/model_2",
    model_platform: "tensorflow",
  },
}

编辑：更正了base_path 上model_2 的拼写错误。