【发布时间】：2018-04-10 15:12:54
【问题描述】：
我们能否安排一个 AWS Glue 作业来执行 MSCK 修复命令，以便将新添加分区的元数据添加到 Glue 目录中？
Glue ETL 脚本可以在不调用 Athena 的情况下执行 MSCK REPAIR TABLE 命令吗？
【问题讨论】：
标签： amazon-web-services aws-glue
【发布时间】：2018-04-10 15:12:54
【问题描述】：
这是由 Glue Crawlers 实现的。如果您创建爬虫，它将根据新字段更新表并添加新分区。
【讨论】：
-
我已将 Hive 元存储表迁移到 Glue 数据目录，因此这些表具有不同的属性。当我运行 crawlers 时，它会创建带有添加分区的全新表。
您可以调用 batch_create_partition() API 来执行此操作。它不需要像 MSCK REPAIR TABLE 或重新爬网这样的昂贵操作。以下是我对代码示例的详细回答 -
【讨论】：