批处理中的加入与减少

Question

Join 和 Reduce 在批处理方面的主要区别是什么？

Answer 1

join 将等待所有任务完成（需要合并），但 reduce 不会等待。

然而，与上图描述的连接模式相比，reduce 的目标不是等到所有数据都处理完毕，而是乐观地将所有并行数据项合并为一个综合完整集的表示。

这与连接模式形成鲜明对比，因为与连接不同，它意味着 reduce 可以在处理过程中并行启动 地图/分片阶段。当然，为了产生完整的输出，所有的数据 最终必须得到处理，但尽早开始的能力意味着批处理计算总体上执行得更快。