oozie 的 job.properties 中的 jobTracker 属性答案

【问题标题】：jobTracker property in job.properties of oozieoozie 的 job.properties 中的 jobTracker 属性
【发布时间】：2016-06-08 05:25:44
【问题描述】：

我正在使用 hadoop-2.7.2 和 oozie-4.0.1，oozie 工作流的 job.properties 文件中的 jobTracker 值应该是多少。我参考了这个链接；

http://hadooptutorial.info/apache-oozie-installation-on-ubuntu-14-04/

其中指出，在 YARN 架构中，作业跟踪器在 8032 端口上运行，而我目前正在使用它。但在 hadoop 的 mapred-site.xml 中，我的作业跟踪器属性值为 hdfs://localhost:54311。

我很困惑，谁能解释我或提供一些有用的链接来安装 oozie 和在 oozie 上运行作业。

目前，我无法在 oozie 上运行工作流作业，它长时间处于运行状态，然后由于连接错误而暂停。 Job DAG 也没有生成，它正在抛出一些 UI 异常。

请任何人帮助我。

【问题讨论】：

检查纱线中yarn.resourcemanager.address 的值并使用它。只是host:port。
您好，谢谢，但是我们在哪里可以找到这个属性（yarn.resourcemanager.address）。我在 yarn-site.xml 中没有这个属性
转到 conf 目录并执行 grep。 grep -ri "yarn.resourcemanager.address" *
我可以在hadoop/conf/yarn-site.xml 文件中找到它。
我没有在 yarn-site.xml 中给出这个属性。是 yarn.resourcemanager.address 的默认值为 8032。

标签： oozie hadoop2

【解决方案1】：

在你的属性文件中，只需传递你在yarn-site.xml中配置的资源管理器地址，或者直接将workflow.xml文件中的资源管理器地址解析为

        <job-tracker>localhost:8032</job-tracker>

在运行属性文件时，您需要指定 oozie 服务器将在哪个主机上运行，我认为在那部分您没有遇到任何问题。然后粘贴错误消息并更新问题。

已编辑： 配置需要在 yarn-site.xml 中

    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
    <description>NM Webapp address.</description>
    <name>yarn.nodemanager.webapp.address</name>
    <value>${yarn.nodemanager.hostname}:8042</value>
  </property>
  <property>
    <description>hostname </description>
    <name>yarn.nodemanager.hostname</name>
    <value>localhost</value>
  </property>

您可以为 Pesudo 节点集群指定主机名或本地主机。对于 HA 集群需要以下

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

【讨论】：

嗨，我收到了这个错误； stackoverflow.com/questions/37680428/…
我没有在yarn-site.xml中配置ResourceManagerAddress。能否请您告诉 yarn-site.xml 中必须配置哪些属性。
这些是我启动hadoop和oozie后运行的服务； DataNode Bootstrap NameNode NodeManager Jps ResourceManager SecondaryNameNode 除了这些还需要启动其他服务。
只需查看配置的编辑，我认为您使用的是 pesudonode cluster 或 multinode cluster 。 ??
我收到此错误：JA017：与操作 [0000000-160609190816087-oozie-hado-W@mr-node] 关联的未知 hadoop 作业 [job_local2078275128_0001]。此操作失败！

【解决方案2】：

在生产环境中，可能你已经配置了一个 High-Availbility 纱线集群。在这种情况下，job.properties中的oozie job tracker config应该是yarn.resourcemanager.cluster-id的配置值。

我的纱线配置：

 <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>datayarn</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>resourcemanager1,resourcemanager2</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.resourcemanager1</name>
                <value>11.11.11.11</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.resourcemanager2</name>
                <value>11.11.11.12</value>
        </property>

所以，jobTracker 的值应该是：datayarn

【讨论】：