将预训练模型从 CloudFormation 部署到 SageMaker Endpoint

Question

这似乎是一件棘手的事情，因为我没有找到太多的文档。我正在尝试将用于 NLU 的 Huggingface 预训练模型部署到 SageMaker 端点。自然，我不想手动执行此操作，我想通过 CloudFormation 将其自动化。我发现了一个关于如何部署的 useful article，但是训练模型的名称令人困惑，我不知道在哪里可以找到我想要部署的模型的正确名称，或者我将把该名称放在哪里（我想要部署一个all-MiniLM-L6-v2 模型）。

这可能吗？我需要部署容器吗？如果是这样，我如何设置容器来处理请求并从模型返回文本嵌入？我已经考虑过仅使用 lambda（这将满足自动化部署过程）来执行此操作，但我需要使用的包大大超过了 lambda+layers 的 250MB 限制。

如何从 CloudFormation 部署端点？有没有人有这样做的经验？如果是这样，请分享您的智慧。

Answer 1

这是一个很长的镜头，但这里是您可以遵循的步骤。

1. 按照以下说明创建一个model.tar.gz，你应该从HFhub下载pt模型并使用它。您还可以在 requirements.txt 文件中指定依赖项，尤其是对于使用句子转换器。 https://sagemaker.readthedocs.io/en/stable/frameworks/pytorch/using_pytorch.html#bring-your-own-model

2. 一旦你有了模型，你就可以按照你分享的博客文章中提到的那样创建 cloudformation。创建 tar.gz 文件