使用 AWS Lambda 将非常大的图像从 Web 传输到 S3

Question

我可以从网络访问一个 20 GB 的图像文件，我们希望将其保存在 S3 上。

是否可以使用 AWS Lambda 做到这一点？从我对这种情况的理解来看，限制似乎如下：

• lambda 内存（无法将整个图像加载到内存中）

现在，如果我们决定从网络流式传输到 S3（比如使用 requests.get(image_url, stream=True) 或 smart_open..

• lambda 达到其超时限制，以及..
• S3 不支持附加到 S3 对象。因此，后续的 lambda 运行以继续“组装”S3 上的图像（之前的图像停止）必须将 S3 上已经存在的部分图像加载到内存中，然后它才能开始附加更多数据并上传生成的更大的部分图像到 S3。

我还听说其他人建议使用分段上传。但我很高兴知道这与流式传输有何不同，以及如何克服上述限制。

谢谢！

Answer 1

s3 大大简化了事情。

创建一个 lambda 以生成用于分段上传的预签名 url。

创建分段上传：

http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/S3.html#createMultipartUpload-property

使用上述分段上传密钥创建签名 URL：

http://docs.aws.amazon.com/AWSJavaScriptSDK/latest/AWS/S3.html#getSignedUrl-property

使用该网址并行上传文件的多个部分。 您还可以使用 S3 加速器进行高速上传。

希望对你有帮助。

EDIT1：

您可以将文件分成 1 到 10,000 个之间的块并并行上传。

http://docs.aws.amazon.com/AmazonS3/latest/dev/mpuoverview.html

如果您只上传一个文件，您可以在 cli 而不是 lambda 中生成 signedurl 和 multipart。

如果你经常做，你可以通过 lambda 生成它们。

当你读取要上传的文件时，如果你是通过HTTP读取的，则分块读取，分段上传。

如果你是在本地读取文件，你可以为每个chunk获取文件的起点，然后用multipart上传。

希望对你有帮助。