【问题标题】:Amazon athena don't use glue catalog亚马逊雅典娜不使用胶水目录
【发布时间】:2018-03-03 08:07:22
【问题描述】:

我使用 aws 胶水爬虫创建了一个带有表的数据库。在雅典娜中,我无法选择该数据库/表进行查询。我认为问题可能出在服务区域位置。接下来是我的设置:

  1. s3 csv 文件位于爱尔兰
  2. aws 胶水爬虫创建时没有任何指向其位置的选项,但可通过下一个 url - https://console.aws.amazon.com/glue/home?region=us-east-1 访问。所以我认为它是在 us-east-1 地区创建的,但我不确定。地区参数出现在我帐户的任何页面上。

另见附件

【问题讨论】:

    标签: amazon-athena aws-glue


    【解决方案1】:

    您是否在这里查看过:[https://docs.aws.amazon.com/athena/latest/ug/glue-upgrade.html?

    您似乎需要执行一些 AWS Glue 升级,并添加策略以便 Athena 可以提取目录信息。此外,常见问题解答可在此处https://docs.aws.amazon.com/athena/latest/ug/glue-faq.html 获得。我还没有研究过这个场景,但正在研究 Glue - Redshift。

    在FAQ中,提到如下:

    为什么需要向 Athena 用户添加 AWS Glue 策略?
    在升级之前,Athena 会管理数据目录,因此 Athena 操作必须是 允许您的用户执行查询。在您升级到 AWS Glue 数据目录、Athena 操作不再适用于访问 AWS Glue 数据目录,因此必须允许您的 AWS Glue 操作 用户。请记住,Athena 的托管策略已经 已更新以允许所需的 AWS Glue 操作,因此无需执行任何操作 如果您使用托管策略,则需要。

    如果我不允许 Athena 用户使用 AWS Glue 策略会怎样?

    如果您升级到 AWS Glue 数据目录并且不更新用户的 客户管理或内联 IAM 策略,Athena 查询失败,因为 不允许用户在 AWS Glue 中执行操作。为了 允许的具体操作,请参阅第 2 步 - 更新客户管理/内联 与 Athena 用户相关的政策。

    【讨论】:

    • 根据第一个链接 - 升级后,Athena 控制台有一个链接可以从 Athena 中打开 AWS Glue 目录管理器 - 我有。
    • 我已经更新了关于应用自定义或内联策略的常见问题解答部分的答案。可能您需要添加这些策略。我已经检查了我的 Athena 控制台,并且能够查看使用 AWS Glue 爬虫创建的数据库/表。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-03-02
    • 2012-12-08
    • 1970-01-01
    • 1970-01-01
    • 2017-01-04
    相关资源
    最近更新 更多