mapper side join  

这个没仔细讲,但是是在每个Mapper里来做的。

 

reduce side join 

老师讲的非常清楚了,比如说CustomerMapper和OrderMapper,我都是处理出一个key-value值,这个key就是两个表都有的字段比如说Customer_Id。当然,order这边可能一个Customer会有多个订单,所以是多个订单记录组成的value。

 

现在就非常清晰了:

CustomerMapper的key是Customer_Id

CustomerMapper的value是整条记录(我们给他加个001, 来表示一下它是Customer的数据)

 

OrderMapper的key也是Customer_Id

OrderMapper的value是整条记录(我们给他加个002, 来表示一下它是Order的数据,注意一下他是可能一个客户有多个订单)

MapReduce的Reduce Size Join

 

MapReduce的Reduce Size Join

然后这两对key-value,shuffle到Reducer。

Reducer接收这两组数据,001的和002的数据,key相同的直接用 +合并即可。

order这里的处理呢,是因为一个客户有多个订单。

MapReduce的Reduce Size Join

 

相关文章:

  • 2022-01-27
  • 2021-07-20
  • 2021-05-16
  • 2021-06-08
  • 2021-11-30
  • 2021-08-16
  • 2022-12-23
  • 2021-06-17
猜你喜欢
  • 2021-09-13
  • 2021-08-28
  • 2021-05-27
  • 2022-01-14
  • 2022-03-09
  • 2022-12-23
  • 2022-02-08
相关资源
相似解决方案