1、 任务调度
a、RDD Objects---->转换为DAG有向无环图
b、DAGScheduler---根据RDD之间的宽窄依赖切分Job，切分为Stage
c、Stage本质上就是---TaskSet,Stage就会以TaskSet形式传给TaskScheduler
d、TaskScheduler遍历TaskSet，分配给executor执行
|如果说executor中task执行失败，跟TaskScheduler申请重试3次，3次仍然失败
DAGScheduler重试重新发送TaskSet，默认会重试4次。如果仍然失败，宣告Stage执行失败
，也就是包含Stage的job宣告执行失败。
e、推测执行---表示一个spark job中，可能会存在某一些task执行缓慢，推测会启动
一个相同的task，选择先执行完的作为结果
|推测执行在spark中默认是关闭的
1、可能出现数据重复写入
2、集群奔溃。数据倾斜--task本身计算量大，耗时较长
2、spark的资源调度流程
master：管理整个集群的资源
Worker：每启动一个Worker都注册在Master上
a、当提交spark的程序时，main会创建driver进程
当执行到val sc=new SparkContext()---会默认创建两个对象DAGScheduler、
TaskScheduler对象。
b、TaskScheduler向Master发送一个请求，申请程序运行需要资源
c、maste根据TaskScheduler发送的请求，去每一个worker上查看其资源使用情况，
给资源充足的worker上发送一条信息。让其创建一个executor进程，是一个线程池
用来执行每一个task
d、所有的executor都向TaskScheduler反向注册，TaskScheduler中一个executor列表
e、任务调度---DAGScheduler切分job---分发TaskSet TaskScheduler
f、TaskScheduler遍历TaskSet，把每一个task分发最优的executor执行
注意：如果task执行失败，向TaskScheduler...(任务调度)