Flink学习 - 6. Flink on Yarn 提交任务流程

Flink学习 - 6. Flink on Yarn 提交任务流程

• Flink On Yarn

Flink On Yarn

流程图大致如下：

1. flink-client将任务提交到yarn，会将所有依赖的jar和config等温江上传到hdfs中
2. 向resourceManager申请资源，Resourcemanager中主要包含两部分：applicationManager和resourceScheduler
3. ApplicationManager启动ApplicationMaster，ResourceScheduler分配运行ApplicationMaster所需要的Container。
4. 在ApplicationMaster上启动Flink的JobManager，并采用轮询的方式通过RPC想ResourceManager申请资源
5. RsourceManager接收到请求后，会分配相应的Container去将来启动TaskManager，并从hdfs上下载相应的jar和config。
6. ApplicationMater 要求相应的Container启动任务。
7. 至此相应的JobManager和TaskManager启动完成。