存在重复键时如何创建键值映射？

Question

我是猪新手。我有以下输出。

(001,Kumar,Jayasuriya,1123456754,Matara)
(001,Kumar,Sangakkara,112722892,Kandy)
(001,Rajiv,Reddy,9848022337,Hyderabad)
(002,siddarth,Battacharya,9848022338,Kolkata)
(003,Rajesh,Khanna,9848022339,Delhi)
(004,Preethi,Agarwal,9848022330,Pune)
(005,Trupthi,Mohanthy,9848022336,Bhuwaneshwar)
(006,Archana,Mishra,9848022335,Chennai)
(007,Kumar,Dharmasena,758922419,Colombo)
(008,Mahela,Jayawerdana,765557103,Colombo)

如何创建上述地图，以便输出看起来像，

001#{(Kumar,Jayasuriya,1123456754,Matara),(Kumar,Sangakkara,112722892,Kandy),(001,Rajiv,Reddy,9848022337,Hyderabad)}
002#{(siddarth,Battacharya,9848022338,Kolkata)}

我尝试了 ToMap 功能。

 mapped_students = FOREACH students GENERATE TOMAP($0,$1..);

但我无法转储上述命令的输出，因为该过程会引发错误并停在那里。任何帮助将不胜感激。

Answer 1

我认为您正在尝试实现的是将记录分组到具有相同 id 的元组中。

根据 TOMAP 函数，它将键/值表达式对转换为映射，因此您将无法对其余记录进行分组，并会导致无法打开别名的迭代器。

根据您想要的输出，这里是一段代码。

A = LOAD 'path_to_data/data.txt' USING PigStorage(',') AS (id:chararray,first:chararray,last:chararray,phone:chararray,city:chararray);

如果你不想给出架构，那么：

A = LOAD 'path_to_data/data.txt' USING PigStorage(',');

B = GROUP A BY $0; (this relation will group all your records based on your first column)

DESCRIBE B; (this will show your described schema)

DUMP B;

希望这会有所帮助..