刚才发现一张讲解mapreduce整个工作机制图,跟大家分享一下,大家发表一下建议,对mapreduce工作机制有何看法,或者那里有不清楚。mapreduce每一个工作阶段,对我们在工作中处理某种业务都是有很大帮助的。

MapReduce多节点工作机制图

MapReduce多节点工作机制图

图中1:表示待处理数据,比如日志,比如单词计数 
图中2:表示map阶段,对他们split,然后送到不同分区 
图中3:表示reduce阶段,对这些数据整合处理。 
图中4:表示二次mapreduce,这个是mapreduce的链式。

这里有个问题:输出的mapreduce结果,需要进入下一个mapreduce,该怎么解决?请看 
“让你真正明白什么是MapReduce组合式,迭代式,链式-大数据(hadoop系列)学习-about云开发” 
http://www.aboutyun.com/thread-7435-1-1.html 
暂时在这里mark一下以后学完再总结


相关文章:

  • 2022-01-20
  • 2021-07-20
  • 2021-10-12
  • 2021-11-05
猜你喜欢
  • 2021-08-09
  • 2021-12-26
  • 2022-12-23
  • 2021-11-18
  • 2021-04-01
  • 2021-10-23
相关资源
相似解决方案