AWS Glue Catalog 无法检测 parquet 文件，而是将根路径创建为单个表

Question

我有一个以 parquet 格式存储在 AWS S3 中的 500 多个表的列表。结构如下：

aws-bucket/
└── parquet/
    └── table1/t1.parquet
    └── table2/t2.parquet
    └── table3/t3.parquet
    └── table4/t4.parquet
    └── table5/t5.parquet
    └── table6/t6.parquet
    └── table7/t7.parquet
    └── table8/t8.parquet

当我在“s3://aws-bucket/parquet/”上运行 Glue Crawler 并尝试创建 Athena 数据库时，它只创建了一个名为 parquet 的表，而不是创建所有 500 多个表。我没有尝试对爬虫参数进行任何自定义。

请帮忙。

Answer 1

查看https://docs.aws.amazon.com/glue/latest/dg/crawler-configuration.html?icmpid=docs_glue_console#crawler-grouping-policy

S3 数据的分组行为（可选）

为每个 S3 路径创建一个架构

默认情况下，当爬虫为存储在 S3 中的数据定义表时，它会同时考虑数据兼容性和模式相似性。选中此复选框可将兼容模式分组到提供包含路径下所有 S3 对象的单个表定义中。仍将考虑其他标准来确定正确的分组。

在胶水爬虫控制台中选中此选项。它将创建 500 多个表