这里用的WordCount案例
MR切片源码分析笔记
运行debug模式,F5进入waitForComplent()方法
MR切片源码分析笔记
可以看到它调用了submit()方法,进入这个方法
MR切片源码分析笔记
可以看到又有四个方法
1.ensureState():查看当前任务运行状态的方法
2.setUseNewAPI():设置一个新建的API
3.进入connect():这是一个客户端获得服务器链接并返回的方法**********
MR切片源码分析笔记
进入Cluster(getConfiguration())
MR切片源码分析笔记
进入到初始化函数initialize中MR切片源码分析笔记
进入第一个provider.create(),是以本机方式提交
MR切片源码分析笔记
进入第二个provider.create(),是以集群yarn方式提交
MR切片源码分析笔记

我们回到submit方法
MR切片源码分析笔记
进入submitJobInternal(Job.this, cluster)中
MR切片源码分析笔记
MR切片源码分析笔记

进入writeSplits
MR切片源码分析笔记

进入writeNewSplits
MR切片源码分析笔记

进入getSplits:实现如何切片
MR切片源码分析笔记

MR切片源码分析笔记
返回到submitJobInternal()中
MR切片源码分析笔记
返回到submit()任务提交完成
返回到waitForCompletion(),执行任务
MR切片源码分析笔记
完成任务!~
MR切片源码分析笔记
PS:如果觉着我这个乱的话推荐看流程图

相关文章:

  • 2021-12-24
  • 2021-12-25
  • 2021-04-11
  • 2021-07-19
  • 2021-11-16
  • 2022-03-08
  • 2021-07-31
  • 2021-10-17
猜你喜欢
  • 2021-12-08
  • 2022-12-23
  • 2021-05-12
  • 2021-07-06
  • 2021-08-29
  • 2022-12-23
  • 2021-05-29
相关资源
相似解决方案