Spark 数据帧数据聚合

Question

我有以下要求在 scala 中聚合 Spark 数据帧上的数据。

我有一个包含两列的 spark 数据框。

mo_id   sales
201601  11.01
201602  12.01
201603  13.01
201604  14.01
201605  15.01
201606  16.01
201607  17.01
201608  18.01
201609  19.01
201610  20.01
201611  21.01
201612  22.01

如上所示，数据框有两列“mo_id”和“sales”。 我想在数据框中添加一个新列 (agg_sales)，该列应包含截至当前月份的销售额总和，如下所示。

mo_id   sales   agg_sales
201601  10  10
201602  20  30
201603  30  60
201604  40  100
201605  50  150
201606  60  210
201607  70  280
201608  80  360
201609  90  450
201610  100 550
201611  110 660
201612  120 780

说明：

对于 201603 月份，agg_sales 将是从 201601 到 201603 的销售额总和。 对于 201604 月份，agg_sales 将是从 201601 到 201604 的销售额总和。 等等。

任何人都可以帮忙吗？

使用的版本：Spark 1.6.2 和 Scala 2.10

Answer 1

您正在寻找可以通过窗口函数完成的累积和：

scala> val df = sc.parallelize(Seq((201601, 10), (201602, 20), (201603, 30), (201604, 40), (201605, 50), (201606, 60), (201607, 70), (201608, 80), (201609, 90), (201610, 100), (201611, 110), (201612, 120))).toDF("id","sales")
df: org.apache.spark.sql.DataFrame = [id: int, sales: int]

scala> import org.apache.spark.sql.expressions.Window
import org.apache.spark.sql.expressions.Window

scala> val ordering = Window.orderBy("id")
ordering: org.apache.spark.sql.expressions.WindowSpec = org.apache.spark.sql.expressions.WindowSpec@75d454a4

scala> df.withColumn("agg_sales", sum($"sales").over(ordering)).show 
16/12/27 21:11:35 WARN WindowExec: No Partition Defined for Window operation! Moving all data to a single partition, this can cause serious performance degradation.
+------+-----+-------------+
|    id|sales|  agg_sales  |
+------+-----+-------------+
|201601|   10|           10|
|201602|   20|           30|
|201603|   30|           60|
|201604|   40|          100|
|201605|   50|          150|
|201606|   60|          210|
|201607|   70|          280|
|201608|   80|          360|
|201609|   90|          450|
|201610|  100|          550|
|201611|  110|          660|
|201612|  120|          780|
+------+-----+-------------+

请注意，我在ids 上定义了ordering，您可能需要某种时间戳来排序总和。