为什么我们在 YARN 中配置 mapred.job.tracker？

Question

据我所知，引入了 YARN，它取代了 JobTracker 和 TaskTracker。

我看过一些 Hadoop 2.6.0/2.7.0 安装教程，他们将 mapreduce.framework.name 配置为 yarn 并将 mapred.job.tracker 属性配置为 local 或 host:port。

mapred.job.tracker 属性的描述是

"MapReduce 作业跟踪器运行的主机和端口。如果是“本地”， 然后作业作为单个 map 和 reduce 任务在进程中运行。”

我的疑问是，如果我们使用 YARN，为什么要配置它，我的意思是 JobTracker 不应该运行正确？

如果我的问题很愚蠢，请原谅我。

编辑：这些是我所说的教程。

http://chaalpritam.blogspot.in/2015/01/hadoop-260-multi-node-cluster-setup-on.html

http://pingax.com/install-apache-hadoop-ubuntu-cluster-setup/

https://chawlasumit.wordpress.com/2015/03/09/install-a-multi-node-hadoop-cluster-on-ubuntu-14-04/

Answer 1

这只是一个猜测，但是那些谈论在 YARN 中配置 JobTracker 的教程要么是由不知道 YARN 是什么的人编写的，要么是他们设置的，以防您决定有一天停止使用 YARN。你是对的：YARN 中不存在 JobTracker 和 TaskTracker。您可以根据需要添加属性，但它们将被忽略。替换 JobTracker 和 TaskTracker 的每个组件的新属性都添加了 YARN，例如 yarn.resourcemanager.address 以替换 mapred.jobtracker.address。

如果您在 YARN 下运行 Hadoop 时列出您的 Java 进程，您会看到没有 JobTracker 或 TaskTracker：

10561 Jps
20605 NameNode
17176 DataNode
18521 ResourceManager
19625 NodeManager
18424 JobHistoryServer

您可以阅读有关how YARN works here 的更多信息。