TensorFlow 服务于 S3 和 Docker答案

【问题标题】：TensorFlow serving S3 and DockerTensorFlow 服务于 S3 和 Docker
【发布时间】：2019-01-23 13:34:36
【问题描述】：

我正在尝试找到一种方法来使用 Tensorflow 服务，并能够添加新模型和新版本的模型。我可以将 tensorflow 服务指向 S3 存储桶吗？

我还需要它作为容器运行吗？这是可能的还是我需要实现另一个程序来拉下模型并将其添加到共享卷并要求 tensorflow 更新文件系统中的模型？

或者我是否需要构建自己的 docker 映像才能从 s3 中提取内容？

【问题讨论】：

我昨天花了一些时间想出了一个部分解决方案。我需要在容器之间共享一个卷，然后调用ReloadConfigRequest GRPC 端点。外部应用程序从 S3 中提取模型并添加到卷中，然后调用端点。它似乎有点笨拙，但它有效。我宁愿做一些不那么沉重的事情。

标签： tensorflow tensorflow-serving

【解决方案1】：

我发现我可以使用TF S3 连接信息（即使它没有在 TF Serving Docker 容器中列出）。 docker run 命令示例：

docker run -p 8501:8501 -e AWS_ACCESS_KEY_ID=$AWS_ACCESS_KEY_ID -e AWS_SECRET_ACCESS_KEY=$AWS_SECRET_ACCESS_KEY -e MODEL_BASE_PATH=s3://path/bucket/models -e MODEL_NAME=model_name -e S3_ENDPOINT=s3.us-west-1.amazonaws.com -e AWS_REGION=us-west-1 -e TF_CPP_MIN_LOG_LEVEL=3 -t tensorflow/serving

注意因为这个bug而设置了日志级别

【讨论】：

【解决方案2】：

我在这里提交了一个非常详细的答案（但使用 DigitalOcean Spaces 而不是 S3）：

How to deploy TensorFlow Serving using Docker and DigitalOcean Spaces

由于实现搭载了类似 S3 的接口，我想我会在此处添加链接，以防有人需要更全面的示例。

【讨论】：