【问题标题】:Can Hive load data from external location which is not on HDFS?Hive 可以从不在 HDFS 上的外部位置加载数据吗?
【发布时间】:2017-03-27 14:03:32
【问题描述】:

我试图了解对于 Hive 中的外部表,我们可以在 HDFS 之外找到位置吗,我的意思是我想在 Google 存储位置(gs://bucket-name)之上创建我的外部表/表分区)。

【问题讨论】:

    标签: hive hdfs google-cloud-storage remote-access hive-partitions


    【解决方案1】:

    我想更新我之前提出的问题,是的,在 Google DataProc 集群或独立集群上几乎没有代码更改是可能的,您可以点击此链接 - Migrating 50TB data from local Hadoop cluster to Google Cloud Storage

    【讨论】:

    • 是的,但根据 AWS 和 Google Cloud 最近的变化,这只能部分解决您的问题。
    【解决方案2】:

    这不是一个困难的问题,但需要开箱即用的配置,这在 Google Cloud 上没有特别好的文档记录。为了修复它,请更新以下 Hadoop 配置参数:

    A.将您的服务帐户密钥字符串指向 google.cloud.auth.service.account.email 的 google 服务帐户的密钥字符串(例如:域包括 @test.gservice.com)。

    B.将密钥文件字符串更新到 google.cloud.auth.service.account.keyfile 的 .p12 位置。

    C.将 google.cloud.auth.service.account.enable 更新为 true。

    【讨论】:

    • 感谢您的回答。这个解决方案特别有用。
    • 我很高兴它对你有帮助。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-10-21
    • 2016-01-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多