让 AWS Glue Crawler 重新访问已删除分区的文件夹答案

【问题标题】：Get AWS Glue Crawler to re-visit the folder for a partition that's been deleted让 AWS Glue Crawler 重新访问已删除分区的文件夹
【发布时间】：2021-06-08 05:10:26
【问题描述】：

我有一个 AWS Glue 爬虫，它设置为仅爬取新文件夹。我试图查看删除分区是否会导致它重新访问相应的 S3 文件夹，但事实并非如此。有没有一种方法可以强制重新访问文件夹，而不是更改爬虫来爬取所有文件夹？

【问题讨论】：

如果你只是想“注意”一个删除的分区，你可以运行MSCK REPAIR TABLE tablename。不确定自动化它的最佳方法（也许是 Lambda 到 Athena？）。
@JohnRotenstein - 欢迎您将此作为答案发布，我会接受。这就是解决我的问题的方法。

标签： amazon-web-services amazon-s3 aws-glue amazon-athena

【解决方案1】：

如果您只想“注意”一个已删除的分区，您可以运行 MSCK REPAIR TABLE tablename。

不确定自动化它的最佳方式（也许是 Lambda 到 Athena？）。

【讨论】：

【解决方案2】：

如果您的分区是“可预测的”，例如基于日期的，您可以完全绕过爬虫并使用分区投影。请参阅文档：

https://docs.aws.amazon.com/athena/latest/ug/partition-projection.html

【讨论】：