Flink任务提交流程(yarn模式)

 

 

  1. Flink任务提交后,Client向HDFS上传Flink的Jar包和配置,
  2. 之后向Yarn ResourceManager提交任务,
  3. ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster,
  4. ApplicationMaster启动后加载Flink的Jar包和配置构建环境,然后启动JobManager,
  5. 之后ApplicationMaster向ResourceManager申请资源启动TaskManager,
  6. ResourceManager分配Container资源后,由ApplicationMaster通知资源所在节点的NodeManager启动TaskManager,
  7.  NodeManager加载Flink的Jar包和配置构建环境并启动TaskManager,
  8. TaskManager启动后向JobManager发送心跳包,并等待JobManager向其分配任务。

 

相关文章:

  • 2021-08-15
  • 2021-07-15
  • 2021-04-24
  • 2022-12-23
  • 2022-01-01
  • 2021-11-04
  • 2022-12-23
  • 2021-11-27
猜你喜欢
  • 2021-04-21
  • 2021-07-10
  • 2021-09-01
  • 2021-09-17
  • 2021-05-09
  • 2021-11-02
  • 2022-12-23
相关资源
相似解决方案