使用自定义资源 Lambda 运行 Crawler

Question

我正在尝试使用云形成创建和调用 AWS Glue 爬虫。爬虫的创建部分（以dynamo DB为目标）在lambda函数中。

如何使用云形成来实现这一切？即从 s3 中的 cod 创建 lambda 函数，创建 lambda 函数后，应该触发它来创建爬虫，然后调用爬虫来创建目标表。我希望这一切都是云的形成。

参考链接：Is it possible to trigger a lambda on creation from CloudFormation template

Answer 1

您应该编写 cloudformation 来部署爬虫。然后在你的ci/cd中编写shell/python脚本，通过cloudformation部署后运行爬虫。