Combiner编程(可选步骤,视情况而定!)

  • combiner最基本是实现本地key的归并,combiner具有类似本地的reduce功能。 如果不用combiner,那么所有的结果都是reduce完成,效率会相对低下。使用combiner,先完成的map会在本地聚合,提升速度。
  • 注意:Combiner的输出是Reducer的输入,Combiner绝不能改变最终的计算结果。所以Combiner只应该用于那种Reduce的输入key/value与输出key/value类型完全一致,且不影响最终结果的场景。比如累加,最大值等。

相关文章:

  • 2021-06-27
  • 2021-05-15
  • 2021-05-13
  • 2021-04-08
  • 2021-11-12
  • 2021-08-26
  • 2021-09-02
  • 2022-12-23
猜你喜欢
  • 2021-09-23
  • 2022-12-23
  • 2021-06-06
  • 2021-04-19
  • 2022-01-05
  • 2021-05-27
相关资源
相似解决方案