Job提交过程

Job提交过程
1.客户端向resourceManager提交job运行请求。
2.resourceManager进行检查,没有问题向客户端返回一个共享资源路径和一个jobId.
3.客户端将共享资源放在共享资源路径下
4.客户端向resourceManager进行反馈共享资源放置完毕,进行job的真正提交
5.resourceManager为这个job分配一个节点,并在这个节点上启动MRappMaster。
6.resourceManager到对应的节点上先启动container,在这个container中启动MRappMaster
7.Mrapp到共享资源路径下载共享资源split.job.xml
8.MRapp对job进行初始化,生成job的一个作业簿
9.MRapp向resourceManager申请maptask和reducetask运行的资源先发送到maptask,在发送到reducetask的请求。
10.resourceManager向MRapp返回maptask和reducetask的资源节点
11.MRapp到对应的节点上启动container,启动maptask任务
12.maptask任务到对应的共享资源路径下,下载共享资源,开始执行maptask任务
13.maptask运行过程中回向MRapp汇报自己的运行进度和状态
14.当有一个maptask任务执行完成后,只会进行数据的拉取,不会进行数据的计算。
15.到资源共享资源路劲下下载共享资源,当所有的maptask执行完成就开始执行reducetask任务。
16.当maptask任务或reducetask任务执行完成后,maptask或reducetask就会向MRappMaster 注销自己,进行资源释放,同时MRappMaster回向reduceManager进行注销自己,进行资源释放。

相关文章:

  • 2021-07-05
  • 2021-05-27
  • 2021-08-13
  • 2021-08-15
  • 2021-12-24
  • 2021-04-08
  • 2021-11-14
  • 2021-06-19
猜你喜欢
  • 2021-08-18
  • 2021-06-19
  • 2021-08-10
  • 2021-07-03
  • 2022-12-23
  • 2021-10-10
  • 2021-10-09
相关资源
相似解决方案