【问题标题】:AWS EMR with Glue catalog, specify catalogId explicitlyAWS EMR 与 Glue 目录,明确指定 catalogId
【发布时间】:2018-09-14 20:15:48
【问题描述】:

有没有办法在 EMR 配置中明确指定 Glue catalogId?

https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

这显示了如何在 EMR 中为 Hive 元存储指定使用 Glue,但没有记录任何参数来指定将传递给 Glue API 调用的 catalogId(可能默认为帐户 ID)。

文档后面确实提到“...如果集群位于不同的 AWS 账户中”,这似乎暗示有一种方法可以将 EMR 集群指向不同账户中的 Glue 目录。

【问题讨论】:

    标签: amazon-web-services amazon-emr


    【解决方案1】:

    这似乎是最近添加的。相关属性为hive.metastore.glue.catalogid,在hive-site

    https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-hive-metastore-glue.html

    “此外,借助 Amazon EMR 5.16.0 及更高版本,您可以使用配置分类在不同的 AWS 账户中指定数据目录。”

    “要在不同的 AWS 账户中指定数据目录,请添加 hive.metastore.glue.catalogid 属性,如下例所示”

    【讨论】:

      猜你喜欢
      • 2022-01-16
      • 2018-07-17
      • 2020-04-28
      • 2020-05-11
      • 2018-03-24
      • 1970-01-01
      • 2021-02-09
      • 2020-06-27
      • 1970-01-01
      相关资源
      最近更新 更多