Spark Streaming：如何获取一天的时间戳计数？

Question

从数据具有时间戳的 kafka 主题中读取流。这些数据也可以有未来或过去的时间戳。
有没有办法计算一天的数据数量？ 我尝试将timestamp 转换为date，然后在date 上进行聚合，并将sum 作为count。它似乎不起作用。

sourceDataset
                .withWatermark("timestamp", watermarkInterval)
                .select(
                        col("timestamp").cast("date")
                )
                .groupBy(
                        functions.window(col("date"), windowInterval)
                ).sum().as("count")
                ;

Answer 1

使用 javapairdstream 并将日期设置为 key for 并将 value 设置为 1。现在可以使用 reduce by key 来计算出现次数。这适用于您尝试以微批次获取数字的情况