Spark在Yarn-Cluster部署模式下,程序在提交之后会依次创建三个进程:SparkSubmit,ApplicationMaster和CoarseGrainedExecutorBackend。本文主要在对源码进行分析之后以图解的方式展示CoarseGrainedExecutorBackend的执行流程。
图解Spark中CoarseGrainedExecutorBackend的执行流程
由上图的执行流程可以看出,CoarseGrainedExecutorBackend进程主要有以下几个作用:
(1)向Driver注册Executor进程
(2)在接收到注册成功的message之后,创建Executor对象
(3)接收Driver分配的任务

相关文章:

  • 2021-12-23
  • 2022-02-10
  • 2021-10-14
  • 2022-12-23
  • 2021-09-25
  • 2021-04-07
  • 2021-06-17
猜你喜欢
  • 2021-05-19
  • 2021-07-13
  • 2021-11-25
  • 2021-04-30
  • 2021-12-09
  • 2022-12-23
相关资源
相似解决方案