-
Spark Worker启动Driver和Executor原理-
Worker启动Driver的一个基本原理就是Worker内部会创建一个DriverRunner,然后DriverRunner会启动一个线程,然后创建Driver的工作目录,然后在封装Driver启动命令,用ProcessBuilder启动Driver进程。 -
Worker启动Exector的一个基本原理就是Worker内部会创建一个ExecutorRunner,然后ExecutorRunner会启动一个线程,然后创建Executor工作目录,然后封装启动Executor命令,用ProcessBuilder启动Executor进程。 -
Driver启动之后,Executor启动以后会向Driver进行注册
-
Spark Worker启动Driver和Executor原理图-
Spark Worker启动Driver和Executor源码- 启动
Driver - 启动
Executor:跟启动Driver的流程非常相似,这里就不阐述了。
- 启动
相关文章: