mapreduce 应用程序和 yarn 应用程序有什么区别？

Question

运行 mapreduce 2 的集群没有作业跟踪器，而是分为两个独立的组件，资源管理器和作业管理器。但是，这些东西对用户来说是透明的，他在提交 mapreduce 作业时不需要知道集群是在运行 mapreduce 1 还是 2。

我不太明白的是纱线应用。它与常规的 mapreduce 应用程序有何不同？将 mapreduce 作业作为纱线应用程序运行等有什么好处？有人可以帮我解释一下吗？

Answer 1

MR1 有 Job tracker 和 task tracker 负责 Map reduce 应用程序。

在 MR2 中，Apache 使用 YARN 将 map/reduce 进程的管理与集群的资源管理分开。 YARN 是比我们在 MR1 中更好的资源管理器。它还实现了多功能性。 MR2 建立在 YARN 之上。

除了 Map reduce 之外，我们还可以在 Yarn 上运行 spark、storm、Hbase、Tex 等应用程序，这是使用 MR1 无法做到的。

以下是 MR1 和 MR2 的架构。

HDFS <---> MR

HDFS <----> Yarn <----> MR