【问题标题】:How to connect hive to a Hadoop 2 based cluster?如何将 hive 连接到基于 Hadoop 2 的集群?
【发布时间】:2016-06-04 17:02:21
【问题描述】:

我已经设置了一个基于 Hadoop2 的集群,其中包含一个名称节点和两个数据节点。 我也有一个边缘节点,我想在那里设置 Hive。 我想配置/设置 Hive,使其仅使用集群资源运行与查询相关的 MapReduce 作业。 通过一些谷歌搜索,似乎对于 Hadoop1,设置以下属性可以完成这项工作(虽然不确定)。

<property> <name>mapred.job.tracker</name> <value>hostname:portno</value> </property>

但在 Hadoop2 的情况下,不确定要更改的正确属性是什么。 会不会像下面这样?

<property> <name>yarn.resourcemanager.address</name> <value>namenodehostname:50040</value> </property>

【问题讨论】:

    标签: hadoop hive


    【解决方案1】:

    边缘节点只是一个提交作业 Map-reduce 或 Hive 的接口。 边缘节点具有类似的 conf 文件,因此它可以将集群识别为一个整体。 因此,边缘节点端不需要这种单独的配置。 提交作业时,它将始终引用主 hadoop 集群中的 core-site yarn-site hive-site 文件并采取相应措施。 但是您可以参考以下需要在Hadoop服务器端配置的XMLenter image description here

    【讨论】:

      猜你喜欢
      • 2023-03-23
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-03-30
      • 1970-01-01
      • 2019-09-08
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多