在Yarn-Cluster部署模式下,程序在提交之后会依次启动三个进程:SparkSubmit,Application和CoarseGrainedExecutorBackend。在本文中主要分析ApplicationMaster的执行流程:
图解Spark中ApplicationMaster的执行流程
从ApplicationMaster源码执行示意图中可得知,ApplicationMaster与Hadoop的YARN中的ApplicationMaster的作用基本是一样的。主要作用如下:
(1)创建一个Driver子线程来执行用户主类(在这期间会初始化SparkContext等)
(2)向集群管理器ResourceManager注册并且申请资源
(3)获取资源后,向某个(或者多个)DataNode的发送command指令,在容器中启动CoarseGrainedExecutorBackend进程

相关文章:

  • 2021-12-23
  • 2022-02-10
  • 2021-10-14
  • 2022-12-23
  • 2021-09-25
  • 2021-06-17
  • 2021-05-04
猜你喜欢
  • 2021-12-21
  • 2021-07-13
  • 2021-11-25
  • 2021-04-30
  • 2021-12-09
  • 2022-12-23
相关资源
相似解决方案