hadoop考试重点: Map端的Shuffle过程

文字说明

Map端的输出结果首先会被与入到缓存中【比磁盘效率高】,
当缓存满时(80%写入后),就会启动流与掷作;
溢写操作会清空内容,把内容写入到磁盘空间。
每次溢写操作会写一个磁盘文件(key,value),
当Map程序运行完成后,会把这个Map程序产生的溢写文件归并成一个大的文件(key,value1,value2,…),
然后通知Reduce端来取数据

相关文章:

  • 2022-01-09
  • 2021-10-02
  • 2022-12-23
  • 2022-12-23
  • 2021-06-14
  • 2021-11-15
  • 2021-10-01
猜你喜欢
  • 2021-10-29
  • 2021-08-21
  • 2021-10-21
  • 2021-08-28
  • 2021-04-17
  • 2021-06-09
相关资源
相似解决方案