1:解决分布式计算的通信问题(你怎么知道任务一有没有结束呢?)

2:解决了分布式计算资源调度问题(比如同时读取到一个文件)

3:解决了分布式计算容错问题(一个任务运行失败了,可以将这个任务的执行交给其他任务)

 

参考资料:MapReduce概述和优缺点。(感谢尚硅谷,感谢大海哥)

https://www.bilibili.com/video/BV1Qp4y1n7EN?p=68

 

MapReduce是如何运行到Hadoop集群上的?MapReduce是如何和HDFS通信的?如何进行HDFS的资源调度的?

 

 

 

Hadoop是大数据技术中重要的框架之一,是学习大数据重要的第一课,在Hadoop平台之上,可以更容易地开发和运行其他处理大规模数据的框架。尚硅谷Hadoop视频教程再次重磅升级!以企业实际生产环境为背景,增加了更全面、更细致、更硬核的生产调优手册,对源码解析部分进行了全新的扩充和升级,并增加大量企业实战案例!

前置知识: Java基础、Maven基本操作、IDEA基本使用、Linux基础命令。

 

相关文章:

  • 2022-12-23
  • 2021-06-07
  • 2019-12-18
  • 2021-09-20
  • 2021-10-25
  • 2021-09-13
  • 2022-02-08
  • 2021-12-17
猜你喜欢
  • 2022-02-21
  • 2022-12-23
  • 2022-03-01
  • 2021-06-03
  • 2022-12-23
  • 2021-05-28
  • 2021-07-25
相关资源
相似解决方案