Hadoop的第二个框架Yarn,Yarn是一个资源管理器和任务调度器,

Yarn学习——千峰视频

Yarn学习——千峰视频

yarn其实就类似一个小型的操作系统,能实现任务调度,属于三层云计算中的Paas这一层,

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

Yarn学习——千峰视频

 

Yarn学习——千峰视频

Hadoop2是引进了yarn的结构,此图再yarn的  Architecture 章节里面,里面有对其yarn进行详细的介绍:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html

具体运行的流程,如统计每个文件当中出现的次数,先由Job Submission提交给Resource Manager,而且她含有两个组件,

he ResourceManager has two main components: Scheduler and ApplicationsManager.

提交的话就是提交给ApplicationsManager,先会内部协商,先启动第一个ApplicationsManager,启动之后呢,就会联系,它才知道本次的输入目录在哪里,以及得到输入文件的大小,ApplicationsManager就负责进行切片,切片之后,就由ApplicationsManager向Resource Manager进行申请资源,申请之后,就会返回资源,返回到container里面,如第三个有两个container,第一台也串起来一部分资源,然后ApplicationsManager就会通知Node Manager在对应的节点上面将container启动起来,因为container里面是有Java的运行环境的,container启动起来之后,应用程序通过yarn clilent通过应用程序拷贝到container里面来,然后就可以运行map task 或者reduce task,这两个reduce 任务运行完后,就可以返回给ApplicationsManager,同时运行的使用情况也会返回给ApplicationsManager,container及其使用情况是由Node Manager进行监控和管理的,ApplicationsManager主要是管理container运行的任务的进度情况,当运行完之后,所有的container都把任务进度汇报给ApplicationsManager之后,ApplicationsManager就要向老大,Resource Manager来汇报,汇报完之后,整个作业就算是结束了,然后通过container里面的任务reduce  task 会将结果输出到指定的目录就OK了,如果有失败的情况,若ApplicationsManager监控到了之后,它会协调,让另外的container,让Resource Manager再次申请一部分资源,然后让另外一个Node Manager启动起来,直到整个执行完成,如果有错误,它将会把错误给抛出

 

相关文章:

  • 2021-11-01
  • 2021-11-01
  • 2021-05-06
  • 2021-11-01
  • 2021-08-04
  • 2021-11-01
  • 2021-10-01
  • 2021-08-27
猜你喜欢
  • 2021-11-30
  • 2021-11-13
  • 2021-10-30
  • 2021-12-07
  • 2021-09-05
  • 2021-10-16
  • 2021-06-19
相关资源
相似解决方案