Athena 分区投影和混合文件模式

Question

我想知道 Athena 分区投影如何处理包含具有不同字段的 CSV 文件的文件夹。假设我的存储桶按年、月和日划分为 s3://SalesPurchases/{year}/{month}/{day}。在每 15 分钟的时间间隔内，我生成两个文件，描述在该时间间隔内进行的销售和购买。例如，文件名将是 Sales-15min-03:00.csv，表示它是在凌晨 3 点生成的，并保存了前 15 分钟的更新。这些文件包含以下字段：

Sales: id, description, amount - (all strings)
Purchases: id, description, vendor, amount - (all strings)

如果我为销售创建一个表：

CREATE EXTERNAL TABLE sales_data (
id string,
description string,
amount string
)
PARTITIONED BY (
  `year` string,
  `month` string,
  `day` string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
LOCATION 's3://SalesPurchases/'
TBLPROPERTIES (
  "skip.header.line.count" = "1",
  "projection.enabled" = "true",
  "projection.year.type" = "integer",
  "projection.year.range" = "2020,2021",
  "projection.month.type" = "integer",
  "projection.month.range" = "01,12",
  "projection.day.type" = "integer",
  "projection.day.range" = "01,31",
  "storage.location.template" = "s3://SalesPurchases/${year}/${month}/${day}"
)

我只是想知道这种方法的效率。此 CREATE 语句中没有指示仅过滤“销售”文件。当实际查询 year=2020,month=01,day=01 的数据时，我相信该分区中的所有 Sales 和 Purchases 文件都会被读取。我开始相信这与通过胶水爬虫创建数据目录条目的方式没有什么不同。它们都将定义相同的模式信息。但是我确实相信分区投影在某种程度上更优化。

由于 Sales 中的所有字段都是 Purchases 中字段的子集，因此我也有兴趣了解如何处理。

我注意到的另一个奇怪之处是，当我使用上面的 create table 语句时，当需要查询时，我会执行类似的操作

select * from sales_data limit 10

select count(*) from sales_data

我得到零结果。我必须在查询中专门包含更多过滤器以获取有意义的信息，例如

select * from sales_data where year = '2020' and month = '01' and day = '01' limit 10

分区投影是不是很奇怪？然而，当使用爬虫生成架构信息时，情况并非如此。在这种情况下，select * from sales_data limit 10 将返回非零结果。这是为什么呢？

谢谢。

Answer 1

Athena 要求表中的所有文件都具有相同的架构。当它运行查询时，它将列出并处理表LOCATION（或表的分区'LOCATION）给定的S3前缀中的所有文件。没有办法告诉它按名称过滤文件，它总是会处理所有文件。无论您是否使用分区投影，这都是一样的。

Glue Crawler 也不是解决此问题的方法，如果您在此设置中使用它会完全搞砸。

将您的销售和采购文件放在单独的前缀中并创建单独的表。

---

您的查询最终结果为零的原因是您需要将月份和日期分区键配置为零填充：

"projection.month.digits" = "2"
"projection.day.digits" = "2"

令人困惑的是，该范围允许以零为前缀的值，即使它实际上并未将范围配置为以零为前缀。