【问题标题】:How can I split a Pig tuple into subtuples?如何将 Pig 元组拆分为子元组?
【发布时间】:2013-08-12 15:38:33
【问题描述】:

这是我在 Pig 脚本中处理的元组:

DUMP A
(4,20,53,31)
(21,3,40,16)
(15,51,12,3)

我会将这个关系 (A) 转换为另一个关系 (B),例如:

DUMP B
(4,20)
(4,53)
(4,31)
(21,3)
(21,40)
(21,16)
(15,51)
(15,12)
(15,3)

这意味着保留所有元组中的第一个字段并按每个字段获取一个元组。在前面的示例中,每个元组必须提供 3 个新元组。我有一个解决方案:

DUMP B
(4,20)
(21,3)
(15,51)
(4,53)
(21,40)
(15,12)
(4,31)
(21,16)
(15,3)

这是一个好的结果,但顺序错误(我每次都使用 FOREACH 运算符)。我可以通过向每个元组添加一个字段然后使用 ORDER 运算符来获得正确的顺序,但我认为有一种更简单的方法。

有什么想法吗?

谢谢。

【问题讨论】:

    标签: apache-pig


    【解决方案1】:

    你可以这样做:

    -- T is the name of the tuple, and v[1-4] are the values in the tuple
    B = FOREACH A GENERATE T.v1, FLATTEN(TOBAG(T.v2, T.v3, T.v4)) ;
    

    如果值没有名称,您也可以这样做:

    B = FOREACH A GENERATE T.$0, FLATTEN(TOBAG(T.$1, T.$2, T.$3)) ;
    

    输出:

    (4,20)
    (4,53)
    (4,31)
    (21,3)
    (21,40)
    (21,16)
    (15,51)
    (15,12)
    (15,3)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2016-11-15
      • 2019-10-20
      • 1970-01-01
      • 2014-11-20
      • 1970-01-01
      • 2016-10-05
      • 1970-01-01
      • 2017-07-30
      相关资源
      最近更新 更多