使用Glue python的S3文件的当前时间戳和上次修改时间戳之间的差异

Question

在 AWS 胶水中使用 python，我需要检查 s3 位置中的文件是否在过去 2 小时内被修改，基于此我必须运行作业。我尝试了几种方法但徒劳无功。让我知道是否有人可以提供帮助。

Answer 1

您可以将job bookmark feature 用于此用例。这会跟踪文件的最后修改时间戳，并且只处理那些尚未处理的文件。