1.SparkContext构建的顶级三大核心对象:DAGScheduler、TaskScheduler、ShedulerBackend,其中:
1)DAGScheduler是面向Job的Stage的高层调度器;
2)TaskScheduler是一个接口,根据具体的Cluster Manager的不同会有不同的实现,Standalone模式下具体的实现是TaskSchedulerImpl;
3)SchedulerBackend是一个接口,根据具体的Cluster Manager的不同会有不同的实现,Standalone模式下具体的实现是SparkDeploySchedulerBackend;
2.从整个程序运行的角度来讲,SparkContext包含三大核心对象:DAGScheduler、TaskScheduler、ShedulerBackend。
创建的整个过程如下图所示