带有 emrfs 的蜂巢答案

【问题标题】：Hive with emrfs带有 emrfs 的蜂巢
【发布时间】：2017-06-29 11:15:57
【问题描述】：

我正在使用 sqoop 将表从 Amazon RDS 导入 Hive。该进程正在运行，数据存储在 hive 默认 hdfs 目录中：/user/hive/warehouse。

我需要将存储位置从 hdfs 更改为 emrfs s3。

据我了解，我需要将属性 hive.metastore.warehouse.dir 的值（在主节点上的 hive-site.xml 中）更改为 s3//bucket/warehouse-location。看来我没有修改文件 hive-site.xml 的权限。

我正在寻找一些关于如何最好地做到这一点的建议。

苏迪

【问题讨论】：

更改为 root 用户。

标签： hadoop hive amazon-emr

【解决方案1】：

您需要 sudo 权限才能修改主节点上的 hive-site.xml 文件（通常位于 /etc/hive/conf/hive-site.xml）。

如果这不是一个选项，请尝试在集群启动之前设置此属性。 CloudFormation 的示例：

                "Configurations" : [
                {
                    "Classification" : "hive-site",
                    "ConfigurationProperties" : {
                        "hive.metastore.warehouse.dir" : "s3://your_s3_bucket/hive_warehouse/",
                    }
                }
            ],

或通过“编辑软件设置”部分中的 EMR 对话框

【讨论】：

【解决方案2】：

sudo vi /etc/hive/conf/hive-site

或

sudo -su root
vi /etc/hive/conf/hive-site.xml

【讨论】：