Scala/Scalding：透视数据答案

【问题标题】：Scala/Scalding: Pivoting dataScala/Scalding：透视数据
【发布时间】：2014-11-22 01:51:18
【问题描述】：

我有一个数据集，它是烫伤管道的输出，如下所示：

'Var1, 'Var2, 'Var3, 'Var4 =
 a,x,1,2
 a,y,3,4
 b,x,1,2
 b,y,3,4

我试图把它变成这样的东西：

'Var1, 'Var3x, 'Var4x, 'Var3y, 'Var4y =
a,1,2,3,4
b,1,2,3,4

首先，我认为以某种方式使用 flatMap 会起作用，但这似乎不对。似乎使用枢轴函数应该可以工作，但我不太清楚如何枢轴多个列。

感谢任何帮助。

【问题讨论】：

标签： scala scalding

【解决方案1】：

您需要将两个值列合并为一个，然后才能使用 .pivot。像这样的：

case class v34(v3: Int, v4: Int) 
pipe
    .map(('Var3, 'Var4) -> ('V34)) { vars: (Int, Int) => v34(vars._1, vars._2) }
    .groupBy('Var1) { _.pivot(('Var2, 'V34) => ('x, 'y)) }
    .mapTo(('Var1, 'x, 'y) -> ('Var1, 'Var3x, 'Var4x, 'Var3y, 'Var4y) { 
       vars: (String,V34,V34) =>
       val (key, xval, yval) = vars
       (key, xval.v3, xval.v4, yval.v3, yval.v4)
    }

    .

【讨论】：

我完成了组合和旋转，但无法正确解包。 mapTo 上有几个问题。 1) 在 vars: 行上，它应该读取 v34、v34 而不是 V34、V34？这指的是案例类的名称对吗？ 2) 我在 val 行中收到一个错误，指出它找不到值 Val。 cabal 和 uveal 到底指的是什么？非常感谢您的帮助。
对不起，问题 2 自动更正似乎让我明白了。错误说“找不到值 xval”。 xval 和 yval 指的是什么？
1) 是的，抱歉，它应该是 v34，当然 2) 我认为，这只是 #1 的副作用：val (key, xval, yval) = vars 只是声明了三个新变量，然后解包 @ 987654323@ 进入他们。我认为，它只是感到困惑，因为它认为 vars 没有定义，因为类型名称中的拼写错误。
谢谢！我发现了我的错误。我使这个示例通用，但是当我转换回我的特定应用程序时，我正在编写 Xval 而不是 xval。不知道为什么开头的大写字母会有所不同（我对 Scala 和 Scalding 还很陌生），但是在更改之后一切都很好。