【问题标题】:Query Athena tables & output column for 'S3 source' path查询“S3 源”路径的 Athena 表和输出列
【发布时间】:2019-07-04 02:00:52
【问题描述】:

目前使用 information_schema.tables 列出我目录中的所有表。 我缺少的是一个列,告诉我每个表(外部)指向哪个 S3 路径。

查看了所有 information_schema 表,但看不到此信息。 我通过“sql”看到的唯一地方是“SHOW CREATE TABLE”命令,它不会在正确的记录集中给出结果。

如果做不到这一点...还有其他方法可以密切关注您的所有表格及其来源吗?

非常感谢。

【问题讨论】:

  • 您要查找的是表格位置。请注意,对于分区表,每个分区都有单独的位置,可能在也可能不在表的位置下。
  • 好点。就我的目的而言,说我在寻找被抓取的水桶会有所帮助吗?我正在尝试将我的 S3 存储桶列表与表列表进行比较,并可视化它们之间的关系。到目前为止,我无法查看哪些 S3 存储桶正在“喂养”哪些表。
  • 我认为您需要在客户端以编程方式执行此操作。我不认为有一个 SQL 查询可以一次为许多表提取此信息。

标签: amazon-athena


【解决方案1】:

如上所述,无法从数据库中找到这样做的方法。

下面的实际解决方案(如果有人找到更好的方法)

从 CLI: 调用 AWS 胶水获取表和输出 json 到文件 将文件同步到 S3 将多行 json 转换为单行 json 并放入新存储桶的 ETL 作业 爬取新桶 现在在 Athena 中查询/取消嵌套

'令人费解'是一个浮现在脑海中的词! 至少它可以在我需要的地方获得我需要的数据 同样,如果有人找到更简单的方法....?

【讨论】:

    猜你喜欢
    • 2018-05-07
    • 1970-01-01
    • 1970-01-01
    • 2019-02-02
    • 2020-10-14
    • 1970-01-01
    • 2019-11-10
    • 2019-08-26
    • 1970-01-01
    相关资源
    最近更新 更多