如何优雅地停止 AWS Glue 作业？

Question

我正在使用 Glue v3.0 (Python 3.7)。

目标是优雅地停止 Glue PySpark 作业，以便它可以正确终止并在结束前清理其自定义资源。

我尝试使用经典的 signal.signal() 方法及其处理程序来捕获停止/中止/终止信号。

但是，它似乎不适用于python signal's documentation 中指定的信号（处理程序永远不会被调用）。

知道如何优雅地停止工作，使用或不使用信号方法吗？

Answer 1

您可以拨打sys.exit(any_status_code)。 只需确保在 job.commit() 之前调用了 sys.exit，否则作业将失败。

只是出于好奇，您为什么要自己终止工作？ 在您致电job.commit() 之后，无论如何工作都应该结束。

编辑：

调用它应该可以工作：

job.commit()
os._exit()