【发布时间】：2018-11-20 07:22:29
【问题描述】：
提交作业时，YARN和NameNode什么时候交互？提交作业时，它会发送给谁？有人能解释一下端到端流程 - hadoop 生态系统是如何运作的吗？
谢谢！
【问题讨论】：
标签： hadoop hdfs hadoop-yarn namenode
【发布时间】：2018-11-20 07:22:29
【问题描述】：
Namenode：存储数据节点中存储的所有数据的元数据，监控数据节点的健康状况。基本上是主从架构。
YARN：它代表 Yet Another Resource Negotiator。纱线主要有两个成分。
1.> 调度
2.> 应用程序管理器
Yarn 还包含 master，即 Resource Manager 和 Slave，即 Node Manager。
出于调度目的，有 3 个调度器：
1.> 先进先出 2.> 容量 3.> 公平共享e
在节点管理器下有一个资源管理器分配的组件叫Application Master。
一个应用程序主机分配给一个应用程序。
作业由客户端直接提交，资源管理器将作业分配给Application Master，Node管理器监控Application Master的活跃度
现在，每当有作业进入时，资源管理器都会创建一个作业 ID 并为该作业分配一个 Application Master。资源管理器与 Namenode 联系以检索有关必须执行任务的所需数据的元数据的信息。 Resource Manager 接收到的信息然后传递给 Application Master。
这是 Yarn 与 Namenode 工作的基本概述。也可以从YARN详细阅读
此外，NameNode 交互只是在 YARN 中运行的与 NameNode 对话的 Hadoop 应用程序中进行。并非所有 YARN 应用程序都需要与 HDFS 通信
【讨论】：
-
这只是在 YARN 中运行的 Hadoop 应用程序与名称节点通信。并非所有 YARN 应用程序都需要与 HDFS 通信
-
对。我只是特别谈论那些应用程序。对不起，如果答案不清楚
-
@Abhinav cricket_007 感谢您的解释！我有一个后续问题：提交作业时，是否意味着将作业直接提交给资源管理器？还是有中间层/服务？
-
是的。作业由客户端提交，资源管理器将作业分配给Application Master，Node管理器监控Application Master的活跃度
YARN和HDFS之间基本上没有直接的交互，见https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html
但是 YARN 作业需要一些通常驻留在 HDFS 上的文件（库、配置等）
【讨论】：
-
对于存储在 HDFS 中的文件元数据，Application Master 在其上处理其作业，Yarn 资源管理器必须直接联系 namenode。