【发布时间】:2015-04-16 16:01:26
【问题描述】:
YARN 是第二代 Hadoop,不再使用 jobtracker 守护进程,而是用资源管理器代替它。但是为什么在 mapred-site.xml hadoop 2 上有一个 mapreduce.jobtracker.address 属性呢?
【问题讨论】:
标签: xml hadoop mapreduce jobs hadoop-yarn
YARN 是第二代 Hadoop,不再使用 jobtracker 守护进程,而是用资源管理器代替它。但是为什么在 mapred-site.xml hadoop 2 上有一个 mapreduce.jobtracker.address 属性呢?
【问题讨论】:
标签: xml hadoop mapreduce jobs hadoop-yarn
你是对的。在 YARN 中,jobtracker 不再存在。因此,作为客户端配置的一部分,您不必指定属性mapreduce.jobtracker.address。在 YARN 中,您应该在配置文件中指定属性 mapreduce.framework.name 到 yarn。您需要指定yarn.resourcemanager.address,而不是设置mapreduce.jotracker.address。
【讨论】:
设置 yarn.resourcemanager.address 不是强制性的:
请参阅以下链接,该链接解释了从 MR1 到 MR2 的迁移
https://www.cloudera.com/documentation/enterprise/5-4-x/topics/cdh_ig_mapreduce_to_yarn_migrate.html
【讨论】: