Spark Core（十一）Spark资源调度机制

1. Spark资源调度机制定义
   
   1. 当我们Spark应用程序提交到Spark集群的时候，首先Driver和Application会向Master发送注册请求，Master接受到请求以后会将他们加入到队列中等待启动，而Driver跟Application启动都需要资源，而他们所虚的资源是Master里统一管理的，所以Master决定了资源的调度机制。

2. Spark资源调度源码分析

   1. schedule方法
      

   2. launchDriver方法
      

   3. startExecutorOnWorker方法：为程序在Worker上启动Executor
      

   4. scheduleExecutorsOnWorkers方法：返回一个数组，对应每个Worker能够分配的core的数量
      
      
      

   5. allocateWorkerResourceToExecutors方法：在Woker上分配一个活多个Executor