在 Scalding 中对 groupBy 的输出进行排序答案

【问题标题】：Sorting output of groupBy in Scalding在 Scalding 中对 groupBy 的输出进行排序
【发布时间】：2015-08-31 15:34:14
【问题描述】：

我正在尝试使用 Scalding 对 groupBy 语句的输出进行排序。

我的数据集是这样的

Src           Eqid      Version  Datetime                                 Lat      Lon        Magnitude  Depth  NST  Region
ci            15214001  0        Tuesday, September 11, 2012 12:31:37 UTC  33.0110  -115.5330  1.3        2.20   18   Southern California
ci            15213993  0        Tuesday, September 11, 2012 12:23:34 UTC  35.3713  -118.5395  2.6        2.40   55   Central California

这是我一直在尝试的

.sourceFromArg(args, "input").read
 .groupBy('Region) { _.average('Magnitude -> 'avgMag) }
 .project('Region, 'avgMag)
 .write(sourceFromArg(args, "output"))

我知道我能做到

.sortBy(field)

在 groupBy 中，但我无法根据我想要的字段（即 avgMag）进行排序。

关于如何根据平均震级进行排序的任何想法？

【问题讨论】：

标签： sorting twitter group-by scalding

【解决方案1】：

这种方法有效，但需要第二个 groupBy

  .groupBy('Region) { _.average('Magnitude -> 'avgMag) }
  .insert('dummy, 1)
  .groupBy('dummy) { _.sortBy('avgMag).reverse }
  .project('Region, 'avgMag)
  .write(sourceFromArg(args, "output"))

【讨论】：