AWS Glue 书签：运行作业与触发器

Question

我想知道如果我将 Run Job 与 Trigger Runs 交替使用，对于启用了书签的特定 Job，它的逻辑是如何工作的。

示例

我使用运行作业按钮手动运行我的作业并处理特定文件夹中的输入文件。在此输入文件夹中创建新文件。半小时后，作业被预定的触发器触发。

计划的触发器会知道“手动”运行作业处理的文件还是不同的书签过程？

Answer 1

作业书签的检查点相对于 transformation_ctx 进行保存，并且在从脚本运行 job.commit() 命令时提交更新的检查点。

由于通过触发器或手动运行作业，导致调用相同的 API 操作 (StartJobRun) 并且这些作业运行实际上运行相同的代码，每个新的作业运行都会知道上次运行的书签更新。