在Hadoop体系中，YARN的主要作用是资源管理和任务调度，其主要组合包括ResourceManager和NodeManager，下面来聊聊它的job任务提交流程和任务调度算法。
-
job任务提交流程
job任务的提交流程如下图：
1 客户端向ResourceManager提交任务，ResourceManager会根据权限和当前集群的负载情况执行Job任务
2 ResourceManager就会启动ApplicationManager来启动AppMaster，一个AppMaster对应一个Job任务
3 AppMaster启动完成后，就会向ApplicationManager注册一个AppMaster
4 接着AppMaster会向ResourceSchedule申请所需要的资源
5 ResourceSchedule就会以container为列表返回资源（container）封装的是cpu、内存等资源，container是执行Task的最小单位
6 AppMaster拿到资源后，就会去对应的机器上启动container来执行job任务
7 container启动完成后，就开始启动MapTask和ReduceTask来执行任务
8 container定期向AppMaster汇报执行情况
9 AppMaster也会定期向ApplicationManager汇报执行情况
10 当任务执行完成后，就会把结果返回给客户端 -
任务调度算法
-
FIFO Scheduler(First In First Out)
这种调度算法也成为了队列调度算法，就是先来的任务先执行。但它并不适用于共享 集群。大的任务可能会占用所有集群资源，这就导致其它任务被阻塞。 -
Capacity Scheduler
这种算法成为容量调度器，apache版本默认使用的调度器，Capacity 调度器允许多个组织共享整个集群，每个组织可以获得集群的一部分计算能力。通 过为每个组织分配专门的队列，然后再为每个队列分配一定的集群资源，这样整个集群就可 以通过设置多个队列的方式给多个组织提供服务了。除此之外，队列内部又可以垂直划分， 这样一个组织内部的多个成员就可以共享这个队列资源了，在一个队列内部，资源的调度是 采用的是先进先出(FIFO)策略。 -
Fair Scheduler
Fair调度器的设计目标是为所有的应用分配公平的资源（对公平的定义可以通过参数来设 置）。公平调度在也可以在多个队列间工作。举个例子，假设有两个用户A和B，他们分别拥 有一个队列。当A启动一个job而B没有任务时，A会获得全部集群资源；当B启动一个job后，A 的job会继续运行，不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动 第二个job并且其它job还在运行，则它将会和B的第一个job共享B这个队列的资源，也就是B的 两个job会用于四分之一的集群资源，而A的job仍然用于集群一半的资源，结果就是资源最终 在两个用户之间平等的共享
-