Terratest 如何触发和等待胶水作业

Question

我正在研究 terratest 以测试 aws 代码。我的工作量主要使用glue python或者glue spark从一些s3访问数据，做一些工作，存储到s3。

我想编写一个测试来测试我的角色是否正确地通过胶水授予对某个存储桶的写访问权限。为此，我创建了一个胶水 pythonshell 作业，它将文件放入存储桶中，然后我会（从我的 go 代码中）检查文件及其内容是否符合预期。

在尝试实现这一点时，Terraform 部分很快就编写好了。我现在纠结于如何触发 python 作业以及如何等待它完成。

有什么好办法吗？

Answer 1

Glue 具有triggers 概念，可帮助您根据需求启动它们。触发器根据需要、基于计划或基于事件组合触发。

此外，一旦作业开始，您可以使用CloudWatch 事件监控它的状态。这个article 讨论了如何监控 Glue 爬虫运行。同样可以应用于具有更改的 Glue 作业。