Hive 与 Hadoop 的连接答案

【问题标题】：Hive connection to HadoopHive 与 Hadoop 的连接
【发布时间】：2018-07-25 06:59:35
【问题描述】：

我有两个 Hadoop 实例正在运行。我无法控制第一个实例。我设置了第二个实例。

我还在这台机器上安装了 Hive。当我尝试使用 hive 创建表时，hive 正在尝试连接到 Hadoop 的第一个实例并尝试使用此实例写入数据。

我想更改 Hive 正在寻找的默认 Hadoop 端口，以便 Hive 使用 Hadoop 的第二个实例来写入数据。我已经在 .basrc 中正确设置了 HADOOP_HOME、路径等并获取了它。

有没有办法更改 hive 正在寻找写入数据的默认 Hadoop 端口？

【问题讨论】：

您在同一台机器上安装了两个 Hadoop 实例？
是的。附加信息：两个实例工作正常，我可以与其他工具集成，保持数据分离等。唯一的问题是我还没有找到一种方法让 hive 连接到我创建的 Hadoop 实例
你有两个 Hadoop 实例是什么意思？ Hadoop 是一种集群技术，那么你是在运行两个独立的 NameNode、DataNode、YARN 等吗？您是否研究过 ViewFS 或联合 Hadoop？

标签： hadoop hive

【解决方案1】：

Hive 的 Hadoop 实例信息在 /etc/hive/conf/hive-site.xml 中指定

如果您部署了独立 Hadoop，请手动编辑它，如果您使用 HDP/CDH，请使用 Ambari/Cloudera Manager，然后重新启动 Hive 服务以重新加载配置，您应该会很好

【讨论】：

我之前浏览过这个 conf 文件，我认为它是我的 Hive 版本的 hive-default.xml，但找不到参考，我可以在其中更改 URL 以指向我的 Hadoop 实例.你能不能给点灯？此外，我使用 tar 球安装了 Hive，并将元数据初始化到 MySQL 数据库
@kumaran hive-default.xml 被自定义的hive-site.xml 覆盖，必须创建该自定义hive-site.xml。它不是特定于版本的。
谢谢。我将其更改为 hive-site.xml 并重新启动。它仍然引用了我的第一个 Hadoop 实例。有人可以指出要更改哪个属性以指向特定的 Hadoop 实例吗？
@kumaran 请参阅@cricket_007 答案，它是fs.defaultFS

【解决方案2】：

有没有办法更改 hive 正在寻找写入数据的默认 Hadoop 端口？

如果我理解正确，您想更改HADOOP_CONF_DIR/core-site.xml 文件以将fs.defaultFS 地址修改为不同的HDFS NameNode。

【讨论】：