在 eventTime 中触发结构化流式 sql 窗口

【问题标题】：spark structured streaming sql window in eventTime在 eventTime 中触发结构化流式 sql 窗口
【发布时间】：2019-10-10 02:02:47
【问题描述】：

对于这个非常相同的查询，等效的 String SQL 查询如何：

val streamingWindowDF = 
  streamingInputDF
    .groupBy(
      $"sessiondId",
      window($"time", "10 seconds","2 seconds"))

我也想做同样的事情，但使用 SQL 字符串：

val result = spark.sql(".....")

我想做的是滑动窗口。

谢谢。

【问题讨论】：

【解决方案1】：

window 是一个valid SQL function，可以这样使用，即

SELECT COUNT(*)
FROM df
GROUP BY  window(time, '10 seconds', '2 seconds')

或者简单的SELECT

SELECT *, window(time, '10 seconds', '2 seconds') AS w
FROM df

【讨论】：