并行化 AWS Lambda 的最佳方式

Question

我在 S3 上上传了一个大文件，对于文件中的每一行，我需要进行长时间运行的 rest API 调用。我试图找出最好的方式来分解工作。我目前的流程想法是

Lambda（逐行分解文件）-> SNS（每行通知）-> Lambda（每行/通知分开）

这似乎是一个常见的用例，但我找不到很多对它的引用，我错过了什么吗？有没有更好的选择来分解我的工作并在合理的时间内完成它？

Answer 1

最佳方式将是主观的。您当前使用的方法Lambda->SNS->Lambda 是一种可能的方法。正如 JohnAllen 指出的那样，您可以简单地使用 Lambda->Lambda。

您的场景让我想起了this project，它有一个 Lambda 函数将项目添加到 Kinesis 流，然后触发许多并行 Lambda 函数。

如果您要生成大量 Lambda 任务，我认为 Lambda->Kinesis->Lambda 可能比 Lambda->SNS->Lambda 更适合您的用例。我会担心 SNS 实现会超出并发 Lambda 函数的最大数量，而 Kinesis 实现会将它们排队并优雅地处理。