AWS SageMaker：使用 S3 腌制模型而不是在 sagemaker 上托管答案

【问题标题】：AWS SageMaker: Use S3 pickled models instead of hosting on sagemakerAWS SageMaker：使用 S3 腌制模型而不是在 sagemaker 上托管
【发布时间】：2020-11-21 02:07:22
【问题描述】：

我正在处理一个我必须使用 Amazon SageMaker 笔记本实例的用例。 Amazon SM 资源充满了适用于单个模型的材料，即您在 NB 实例上本地执行您的操作，然后将模型部署为终端节点。另一方面，我的用例为多个客户提供多个模型，这需要自动化。即，一旦客户上传文件，就需要自动创建和存储模型。

当前的方法是通过 lambda 自动化 SageMaker 实例，以便在关闭实例之前获取训练数据、训练数据并将模型保存回 S3。

我的问题是，这是正确的方法吗？或者我应该为每个客户的每个模型创建一个端点？不知何故，由于数据量很小，而且我是第一次使用 SageMaker，我更愿意将模型保存在 S3 中而不是部署许多端点。

【问题讨论】：

标签： python amazon-web-services scikit-learn xgboost amazon-sagemaker

【解决方案1】：

听起来最有效的技术实施将取决于客户的业务和安全要求等因素，以及模型是否针对不同的数据分组进行训练（例如：每个城市的模型）。

随着时间的推移，在单个端点上部署多个模型肯定会更便宜、更容易管理。如果每个模型都针对每个客户在不同的数据集上进行训练，那么您可以为每个客户部署一个端点并管理每个端点的不同模型变体。如果所有这些客户都使用相同的数据和模型输出，那么多模型端点将是有意义的。然而，如果数据集/模型与特定的独立客户相关联，那么每个端点一个模型会更有意义。

这个视频解释得很好 + 有更详细的博客文章：

https://www.youtube.com/watch?v=dT8jmdF-ZWw

【讨论】：