1.SparkContext构建的顶级三大核心对象:DAGScheduler、TaskScheduler、ShedulerBackend,其中:

1)DAGScheduler是面向Job的Stage的高层调度器;

2)TaskScheduler是一个接口,根据具体的Cluster Manager的不同会有不同的实现,Standalone模式下具体的实现是TaskSchedulerImpl;

3)SchedulerBackend是一个接口,根据具体的Cluster Manager的不同会有不同的实现,Standalone模式下具体的实现是SparkDeploySchedulerBackend;

2.从整个程序运行的角度来讲,SparkContext包含三大核心对象:DAGScheduler、TaskScheduler、ShedulerBackend。

创建的整个过程如下图所示

图解SparkContext创建过程

相关文章: