将行条目与 apache-spark 中的一个或多个先前行值进行比较

Question

我有一个具有以下设置的数据框：

Index	Value
1	a
4	b
5	c
7	g
8	g
10	g
12	c
13	g
15	c

而且我只想选择值 g 紧跟在下一行中的 g 的那些事件。我想在 Spark Structured Streaming API for JAVA 的帮助下做到这一点，但我根本无法弄清楚 SQL 语句或如何使用 API 的给定操作/转换来做到这一点。该指数正在增加，但不是以可预见的方式。我正在从 Kafka 获得流式输入。如果可能的话，我更喜欢不使用 Windows 的解决方案，以及一种简单的方法来调整“g”必须相互跟随的频率。我真的尝试过使用 LAG SQL 语句来寻找一些东西，但我失败了。

Answer 1

使用lead():

select index, value
from (select t.*,
             lead(value) over (order by index) as next_value
      from t
     ) t
where next_value = 'g';