在代码中配置和部署 Lambda 管道

Question

我想知道是否有任何 AWS 服务或项目允许我们在代码中使用 AWS Lambdas 配置数据管道。我正在寻找类似下面的东西。假设有一个名为pipeline的库

from pipeline import connect, s3, lambda, deploy
p = connect(s3('input-bucket/prefix'),
            lambda(myPythonFunc, dependencies=[list_of_dependencies])
            s3('output-bucket/prefix'))
deploy(p)

当然，这个想法可以有很多变体。此用例假设只有一个 s3 存储桶，例如可能有一个输入 s3 存储桶列表。

这可以通过 AWS Data Pipeline 完成吗？我（快速）阅读的文档说 Lambda 用于触发管道。

Answer 1

我认为最接近可用的是新发布的Lambda Step Functions 中的状态机功能。有了这些，您可以协调转换数据的多个步骤。我不相信它们支持标准事件源，因此您必须创建一个标准 lambda 函数（可能使用 Serverless Application Model）才能从 S3 读取并触发您的状态机。