如何使用 Boto3 库在 AWS Glue 中创建工作流？

Question

我在使用包含所有编排的 Boto3 库在 AWS Glue 中创建 ETL 工作流时遇到问题。我创建了所有作业和触发器，但是当我使用 glue.create_workflow(Name="Test) 命令时，无法包含编排。

我尝试使用这个参数

DefaultRunProperties={
        'string': 'string'
    }

与：

'--extra-files': 'file' #就像你在工作中使用外部库时一样

'Graph': {'Nodes': [], 'Edges': []}} #图形输出使用glue.get_workflow('Test')

这可能吗，或者您只能使用 AWS 控制台执行此操作？

Answer 1

我遇到了同样的问题，但没有直接从 Boto3 模块找到任何解决方案。

但是，我发现了 AWS Glue 蓝图，它允许您从模板创建工作流，因此只需几个输入参数即可轻松复制它们。然后可以通过向 Boto3 提供正确的输入来启动此蓝图。

有关此主题的官方 AWS 文档及其教程目录： https://docs.aws.amazon.com/glue/latest/dg/orchestrate-using-workflows.html https://github.com/awslabs/aws-glue-blueprint-libs

希望对你有帮助