【问题标题】:Why there is a mapreduce.jobtracker.address configuration on YARN?为什么 YARN 上有 mapreduce.jobtracker.address 配置?
【发布时间】:2015-04-16 16:01:26
【问题描述】:

YARN 是第二代 Hadoop,不再使用 jobtracker 守护进程,而是用资源管理器代替它。但是为什么在 mapred-site.xml hadoop 2 上有一个 mapreduce.jobtracker.address 属性呢?

【问题讨论】:

    标签: xml hadoop mapreduce jobs hadoop-yarn


    【解决方案1】:

    你是对的。在 YARN 中,jobtracker 不再存在。因此,作为客户端配置的一部分,您不必指定属性mapreduce.jobtracker.address。在 YARN 中,您应该在配置文件中指定属性 mapreduce.framework.nameyarn。您需要指定yarn.resourcemanager.address,而不是设置mapreduce.jotracker.address。

    【讨论】:

    • 在堆栈溢出中,如果您发现某个答案有用,您需要通过单击答案左侧的勾选选项来接受该答案。如果您这样做,答案将有助于将来参考。
    【解决方案2】:

    设置 yarn.resourcemanager.address 不是强制性的:

    请参阅以下链接,该链接解释了从 MR1 到 MR2 的迁移

    https://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_mapreduce_to_yarn_migrate.html

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-09-01
      • 2014-05-31
      • 1970-01-01
      • 1970-01-01
      • 2019-05-22
      • 2016-05-01
      • 1970-01-01
      • 2015-10-26
      相关资源
      最近更新 更多