【发布时间】:2017-03-27 14:03:32
【问题描述】:
我试图了解对于 Hive 中的外部表,我们可以在 HDFS 之外找到位置吗,我的意思是我想在 Google 存储位置(gs://bucket-name)之上创建我的外部表/表分区)。
【问题讨论】:
标签: hive hdfs google-cloud-storage remote-access hive-partitions
我试图了解对于 Hive 中的外部表,我们可以在 HDFS 之外找到位置吗,我的意思是我想在 Google 存储位置(gs://bucket-name)之上创建我的外部表/表分区)。
【问题讨论】:
标签: hive hdfs google-cloud-storage remote-access hive-partitions
我想更新我之前提出的问题,是的,在 Google DataProc 集群或独立集群上几乎没有代码更改是可能的,您可以点击此链接 - Migrating 50TB data from local Hadoop cluster to Google Cloud Storage
【讨论】:
这不是一个困难的问题,但需要开箱即用的配置,这在 Google Cloud 上没有特别好的文档记录。为了修复它,请更新以下 Hadoop 配置参数:
A.将您的服务帐户密钥字符串指向 google.cloud.auth.service.account.email 的 google 服务帐户的密钥字符串(例如:域包括 @test.gservice.com)。
B.将密钥文件字符串更新到 google.cloud.auth.service.account.keyfile 的 .p12 位置。
C.将 google.cloud.auth.service.account.enable 更新为 true。
【讨论】: