如何在一次调用时向 AWS Sagemaker Endpoint 发送多个请求？

Question

我在 SageMaker 端点上部署了一个深度学习模型，并且可以使用 sagemaker_client.invoke_endpoint 请求/获取答案。但是每个invoke_endpoint 都接受单个主体。如何发送多个正文以在单个请求中获得多个结果？

我尝试设置body='{"instances": [myData1, myData2]}'，但它识别为单个字符串。

def sagemaker_handler(doc):
    data = doc.encode("UTF-8")
    response = sagemaker_client.invoke_endpoint(EndpointName='myEndpoint',
                                                ContentType='application/json',
                                                Accept='application/json', Body=data)
return response

Answer 1

此时无法使用invoke_endpoint 传递多个请求。 invoke_endpoint 只接受 body 中的一个请求并返回一个预测。 https://docs.aws.amazon.com/sagemaker/latest/dg/API_runtime_InvokeEndpoint.html

SageMaker 支持可用于多个请求的批处理，但这不是通过端点。 https://docs.aws.amazon.com/sagemaker/latest/dg/ex1-batch-transform.html

亚马逊有用于传递多个请求和格式的文档，但这仅用于批量转换。 https://docs.aws.amazon.com/sagemaker/latest/dg/cdf-inference.html

Answer 2

根据文档，invoke_endpoint() 支持body中的多个实例

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/sagemaker-runtime.html#SageMakerRuntime.Client.invoke_endpoint https://docs.aws.amazon.com/sagemaker/latest/dg/cdf-inference.html

我一次又一次地将它用于内置算法。你可以看看这个笔记本的例子：https://github.com/awslabs/amazon-sagemaker-examples/blob/master/introduction_to_amazon_algorithms/blazingtext_text_classification_dbpedia/blazingtext_text_classification_dbpedia.ipynb

我想知道深度学习容器的行为是否不同。我会试着找出答案。你能告诉我更多关于你的用例以及你为什么想一次预测多个实例的信息吗？很高兴阅读您的反馈并将其传递给 SageMaker 团队。

或者，如果您实际上不需要 HTTPS 端点（即不需要实时预测），那么批量转换可能会解决您的问题：

https://docs.aws.amazon.com/sagemaker/latest/dg/ex1-batch-transform.html