Spark Driver相关总结
Driver的作用：
- 执行main方法
- 把用户程序转化为task
- 协调任务的调度
Driver相关总结
driver划分的task由executor执行
一个spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext实例，是程序的入口
功能
- 向集群申请资源
- 负责作业的调度和解析
- 生成Stage并调度Task到Executor上（包括DAGScheduler，TaskScheduler）
相关文章：
猜你喜欢
相关资源
相似解决方案
热门标签