(1).客户端提交一个mr的jar包给JobClient(提交方式:hadoop jar ...)
(2).JobClient通过RPC和JobTracker进行通信,返回一个存放jar包的地址(HDFS)和jobId
(3).client将jar包写入到HDFS当中(path = hdfs上的地址 + jobId)
(4).开始提交任务(任务的描述信息,不是jar, 包括jobid,jar存放的位置,配置信息等等)
(5).JobTracker进行初始化任务
(6).读取HDFS上的要处理的文件,开始计算输入分片,每一个分片对应一个MapperTask
(7).TaskTracker通过心跳机制领取任务(任务的描述信息)
(8).下载所需的jar,配置文件等
(9).TaskTracker启动一个java child子进程,用来执行具体的任务(MapperTask或ReducerTask



(10).将结果写入到HDFS当中

相关文章:

  • 2021-05-04
  • 2021-11-21
  • 2021-08-19
  • 2021-08-03
  • 2022-12-23
  • 2021-06-12
  • 2021-07-14
猜你喜欢
  • 2021-05-27
  • 2021-10-02
  • 2021-10-18
  • 2022-02-13
  • 2017-12-23
  • 2021-06-17
相关资源
相似解决方案