分区数=reducer数

MapReduce里面的分区数和Reducer的数目的关系?

 

 

参考资料:

https://www.bilibili.com/video/BV1Qp4y1n7EN?p=69&spm_id_from=pageDriver

 

思考:

MapTask是怎么工作的?

ReduceTask是怎么工作的?

MapTask如何控制分区、排序?

MapTask和ReduceTask是如何进行衔接的?(ReduceTask如何知道最后一个MapTask执行完了?)

spark的分区和MapReduce的分区一样吗?

相关文章:

  • 2021-09-03
  • 2021-08-12
  • 2021-07-02
  • 2022-12-23
  • 2022-12-23
  • 2022-01-15
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-01-05
  • 2021-07-09
  • 2022-01-14
  • 2021-06-07
  • 2021-10-29
  • 2021-09-12
  • 2022-12-23
相关资源
相似解决方案