如何在 groupby 中指定多个列以及流式窗口操作？答案

【问题标题】：How to specify multiple columns in groupby together with streaming window operations?如何在 groupby 中指定多个列以及流式窗口操作？
【发布时间】：2020-10-30 15:27:42
【问题描述】：

我无法在 groupBy 函数中指定列列表以及窗口操作。我当前的代码：

val groupCols = List("SINR_Distribution","NE_VERSION","NE_ID","NE_NAME","cNum","EarfcnDl","datetime","circle")
val aggDFrame = dframe.groupBy(groupCols, window($"EVENT_TIME", "60 minutes")).agg(Rule_Agg)

错误：

此行的多个标记：重载方法值 groupBy 和替代项：(col1: String,cols: String*)org.apache.spark.sql.RelationalGroupedDataset (cols: org.apache.spark.sql.Column*)org .apache.spark.sql.RelationalGroupedDataset 不能应用于 (List[String], org.apache.spark.sql.Column) 重载方法值 groupBy 与替代方案： (col1: String,cols: String*)org.apache.spark .sql.RelationalGroupedDataset (cols: org.apache.spark.sql.Column*)org.apache.spark.sql.RelationalGroupedDataset 不能应用于 (List[String], org.apache.spark.sql.Column)

我做错了什么？

【问题讨论】：

标签： scala apache-spark apache-spark-sql

【解决方案1】：

您正在将字符串与groupBy 中的列混合。窗口window($"EVENT_TIME", "60 minutes") 被正确解释为列，但列名列表需要是列才能匹配，不能混合类型。

你可以做的是：

val cols = groupCols.map(col) ++ Seq(window($"EVENT_TIME", "60 minutes"))
val aggDFrame = dframe.groupBy(cols: _*).agg(...)

【讨论】：