AWS Glue Spark 作业书签会重新处理失败的作业吗？

Question

我是 AWS Glue 的新手，我想了解 Spark Job 的行为方式。我有一个由于 S3 PUTS 高而失败的 Spark 作业。一些文件已被处理（要明确成功处理的文件已写入接收器存储桶），而其他文件未处理，请注意尚未达到“作业提交”。如果启用作业书签，它是否仍会重新处理已写入接收器的那些文件，还是会从失败时开始执行增量更新？

Answer 1

documentation on job bookmarks 在我看来真的很有帮助。它们甚至包括您的用例示例。

长话短说：

如果在 job.commit() 之前作业运行失败，文件将在 后续运行。