Amazon SageMaker 中的 TensorFlow 服务答案

【问题标题】：Tensorflow Serving in Amazon SageMakerAmazon SageMaker 中的 TensorFlow 服务
【发布时间】：2019-07-04 22:55:27
【问题描述】：

我在 AWS SageMaker 上提供 tensorflow 模型时遇到问题。我已经在 SageMaker 环境之外训练了模型，现在我有一个 savedmodel.pb 文件，我需要将它部署在 SageMaker 端点上。所以我只是简单地压缩模型文件并将其上传到 S3 存储桶。现在，在尝试创建端点时，我的 Cloudwatch 日志中出现以下错误：

tensorflow_serving/sources/storage_path/file_system_storage_path_source.cc:369] FileSystemStoragePathSource 遇到文件系统访问错误：找不到可服务的基本路径 /opt/ml/model/export/Servo generic_model

我相信 SageMaker 正在寻找 tar.gz 以遵循特定的目录结构。但是，我只有一个 .pb 文件。

【问题讨论】：

您能否确认您的variables 文件旁边还有一个非空的variables 文件夹？
变量文件夹为空。
不确定，但是错误提示你在设置服务器的时候指向了错误的路径左右。
@sdcbr tar.gz 文件是否需要遵循任何特定的目录结构？目前我的 tar.gz 文件只有 pb 文件（在根目录下）
@VedantBajaj 你让它工作了吗？你介意分享一下吗？我也被困在这个问题上。

标签： python amazon-web-services tensorflow tensorflow-serving amazon-sagemaker

【解决方案1】：

TensorFlow Serving 需要以下文件夹结构：

export/Servo/{version_number}，其中版本号是任何有效的正数。

SageMaker 需要与 TFS 相同的目录格式，关于此https://github.com/aws/sagemaker-python-sdk/issues/599 存在 GH 问题

【讨论】：

嗨，我已将我的 saved_model.pb 文件保存在 export/Servo/1 中，但我仍然面临这个错误。请帮忙？