在 Hadoop map-reduce 中对连接数据进行分组

Question

我有两种不同类型的文件，一种是用户列表。它具有以下结构： 用户 ID、姓名、国家 ID

第二种是订单列表： OrderID、UserID、OrderSum

每个用户都有很多订单。我需要编写map-reduce hadoop作业（在java中）并接收具有以下结构的输出： CountryID、NumOfUsers、MinOrder、MaxOrder

编写两个不同的映射器（针对每种文件类型）和一个 reducer 以便通过 UserID 连接两个文件中的数据并接收以下结构对我来说不是问题： UserID、CountryID、UsersMinOrder、UsersMaxOrder

但我不明白如何按 CountryID 对数据进行分组？

Answer 1

我建议通过 Pig 或 Hive 运行此程序，因为您只需几行即可解决此类问题。

如果做不到这一点，我会做以下事情。对连接的数据运行另一个 MapReduce 作业，并执行以下操作：在您的映射器中，对于每个输入拆分，请密切关注每个国家 ID 处理的最小顺序、最大顺序和元组（具有唯一用户 ID 的行）的数量。只有少数几个国家，因此您可以在整个地图作业中将这些统计数据保存在内存中。在拆分结束时，将累积的统计信息输出到以国家 ID 为键的减速器。然后，reducer 简单地组合来自每个拆分的聚合数据以找到全局最大值、最小值和计数。