Hadoop运行原理（个人学习笔记）

运行图

1. 客户端client运行job任务（就是我们写好的Java程序，点击运行），之后，会为我我们检查路径，配置之类的错误
   出错了，就在控制台报了异常。
2. 成功后生成一个Job任务，此时向 resourcemanager申请提交次Job。resourcemanager会为此任务返回一个JobID，并告诉这个job，把job自己的资源，jar，配置信息发送到hdfs上
3. Job得到这个响应了，自然将自己的资源，jar包，配置信息发到HDFS上。
4. Job做完了资源的一些部署工作，就将自己提交给ResourcesManager。
5. a.resourcemanager会找空闲的nodemanager创建一个container容器，
   b.并启动mrappmaster
6. mrappmaster 会初始化这个job任务，
7. mrappmaster会从hdfs上获取这个job的切块信息，以此来判断需要几个taskJVM
8. mrappmaster会请求Resourcesmanager，获得一个空闲的NodeManger，来执行任务
9. a.mrappmaster根据ResourcesManager的分配在NodeManager上创建一个container容器，
   b.启动一个task JVM
10. YarmChild (这是一个运行的主函数）从hdfs上获取执行这个任务在hdfs上上传的一些配置信息等
11. 运行 MapTask和ReduceTask任务（个人认为就是Java写的 Mapper类和Reducer类）