spark内核架构
schulebackend
acuter
driver:（application=driver+executor）standalone是spark自带的，效率比其他的好，一个计算框架就可以了、yarn
SparkContext创建的时候要有高层调度器、底层调度器、schulebackend，向master注册程序，job stage taskschuler
executer.
driver:部分的代码在application中是sparkconf+sparkContext
textFileflatmap map：具体的业务实现，RDD操作，并产生RDD的过程
DriverProgram(sparkContext)->cluster Manager（）->worker node：executor（task）+ cache（task）
sparkcontext的运行不依赖于clusterManager
mesos->yarn->standalone
woker:管理当前node的计算资源，并接受master的指令来分配具体的计算资源executor（在新的进程中分配）executorRunner代理模式
job：包含了一系列的task
调度、容错
依赖构成DAG
stage内部计算逻辑完全一样，只是计算的数据不同！！！！
一个partition大小不一定是128M,有可能跨记录。
一个application中可以有多个job，一般一个action操作就会对应一个job，checkpoint也会导致job，排序rang的时候也会触发job。