Apache Spark中没有水印的滑动窗口？

Question

考虑到我有一个简单的聚合，其中定义了一个没有任何水印的窗口。

df
.groupBy(window(col("time"), "30 minutes","10 minutes").as("time"))
.aggr ....

这里我们的窗口是30 minutes，滑动区间为10 minutes

• Q1.是不是表示10分钟后会滑落？
• Q2.如果是，那是不是有点类似于水印？

Answer 1

1. 是的，它将每 10 分钟滑动/计算一次（滑动间隔），提供 30 分钟的重叠窗口。您没有定义是使用事件还是摄取时间。如果使用事件时间，那么迟到的处理，乱序处理，随着时间的流逝将这些数据包含在更新的窗口中。

2. 继上一个问题之后，这与水印不同。加水印意味着在一段时间后，迟到的数据被丢弃，因此上述效果需要考虑时间来应对。也就是说，有些老的windows不会更新了。