AWS Glue ETL 作业中的 Boto3 Glue

Question

我正在运行 AWS Glue ETL 作业 (Pyspark)，我在其中创建了 Glue 的 boto3 客户端来启动爬虫并执行其他一些 PySpark 处理。问题是 Glue 作业在调用 start_crawler 后继续运行。它既不给出任何错误，也不结束或启动爬虫。我的代码 sn-p 如下：

import sys
import boto3
import time

glue_client = boto3.client('glue', region_name = 'us-east-1')
crawler_name = 'test_crawler'
    
print('Starting crawler...')
print(crawler_name)
glue_client.start_crawler(Name=crawler_name)

如果我在 Python Shell Glue 作业中执行相同的代码，它会成功启动爬虫并终止作业。我在这里做错了什么还是我需要做一些特定的 w.r.t Glue ETL 工作？

编辑：我的 Glue 作业附加了一个 Glue 连接，我用它来连接到 RDS。如果我删除它，那么这段代码可以正常工作。但我需要这个连接才能连接到 RDS。有什么帮助吗？

Answer 1

这不是对您问题的回答，而只是一个提示。 我认为在同一工作中启动爬虫并不是一个好主意。您无法控制爬虫何时完成以及它是否完成得好。 我要做的是创建一个 AWS Step Function 并创建工作流，首先是粘合作业，完成后，下一步将是爬虫。这样您就可以控制和监控流程。