查找雅典娜查询结果的来源

Question

我们在 S3 中存储了数千个文件。这些文件暴露给 athena，以便我们可以查询它们。在进行调试时，我发现 athena 在查询特定的 id 时显示多个空白行。鉴于有数千个文件，我不确定这些数据来自哪里。

有没有一种方法可以让我在 athena 结果中查看相应行的源文件？

Answer 1

Presto Hive 连接器暴露了一个隐藏列："$path" 此列公开了已读取特定行的文件的路径。

注意：列名实际上是$path，但是你需要"——在SQL中引用它。这是因为 $ 在标识符中是非法的。