像袋子一样展平元组答案

【问题标题】：Flatten tuple like a bag像袋子一样展平元组
【发布时间】：2012-05-22 13:49:02
【问题描述】：

我的数据集如下所示：

( A, (1,2) )
( B, (2,9) )

我想“扁平化” Pig 中的元组，基本上为内部元组中找到的每个值重复每个记录，这样预期的输出是：

( A, 1 )
( A, 2 )
( B, 2 ) 
( B, 9 )

我知道当元组 (1,2) 和 (2,9) 是袋子时，这是可能的。

【问题讨论】：

标签： hadoop apache-pig flatten

【解决方案1】：

你的洞察力很好；可以通过在包中转换元组来实现。我们要针对的架构是：{a: chararray,{(chararray)}} 例如：(A,{(1),(2)})

以下是您的问题的解决方案：

A = LOAD 'data.txt' AS (a:chararray,b:(b1:chararray,b2:chararray));
B = FOREACH A GENERATE a, TOBAG(b.b1,b.b2);
C = FOREACH B GENERATE a, FLATTEN($1);

神奇的部分是 TOBAG 运算符。

【讨论】：

不错！在这种情况下，元组有两个元素（b.b1，b.b2）。当元组的大小可能不同时，我该怎么做？
我也想知道如何使用可变长度元组来做到这一点。
您可以为此编写自己的 UDF。 DataBag bag = BagFactory.getInstance().newDefaultBag(); for (int i = 0; i< inputTuple.size(); i++) { bag.add(TupleFactory.getInstance().newTuple(inputTuple.get(0))); } return bag;
有点晚了，但是使用TOKENIZE！ (pig.apache.org/docs/latest/func.html#tokenize)

【解决方案2】：

您可以使用 DataFu 的 UDF TransposeTupleToBag (http://datafu.incubator.apache.org/docs/datafu/1.1.0/datafu/pig/util/TransposeTupleToBag.html)，然后将袋子展平，以获得袋子中每个项目的一行。

【讨论】：

【解决方案3】：

我知道这是一个旧线程，但我无法使用上述方法。想我会分享我的发现。

input: (1-2-3, abc)
       (4-5-6, xyz)
desired output:
       (1, abc)
       (2, abc)
       (3, abc)
       (4, xyz)
       (5, xyz)
       (6, xyz)

最初，我使用 STRSPLIT 生成一个元组，从而产生与上述类似的输入，但没有成功。

output = FOREACH input GENERATE FLATTEN(TOBAG(STRSPLIT($0, '-'))), $1

这导致输出为：

 (1,2,3,abc)
 (4,5,6,xyz)

但是，当我使用标记化和替换函数时，我得到了所需的输出。

output = FOREACH input GENERATE FLATTEN(TOKENIZE(REPLACE($0,'-', ' '))), $1;

【讨论】：