【发布时间】:2016-02-18 20:25:53
【问题描述】:
在 Apache Spark Streaming 中,reduceByKeyAndWindow 使用户能够在旧数据过期时提供反函数。程序员可以使用这个函数来减少被移除事件的计数值。
我想知道如何在 Apache Flink 中实现同样的效果。
【问题讨论】:
-
我认为这是 Flink 不使用的性能方面,因为它的窗口实现有效。有点不同。
标签: apache-flink
在 Apache Spark Streaming 中,reduceByKeyAndWindow 使用户能够在旧数据过期时提供反函数。程序员可以使用这个函数来减少被移除事件的计数值。
我想知道如何在 Apache Flink 中实现同样的效果。
【问题讨论】:
标签: apache-flink
这是 Flink 不使用的特定于 Spark 的构造,因为它的窗口实现不同。它用于滑动窗口,以“撤消”聚合。
由于 Flink 不需要跨小批量(而只是跨内部窗格)进行最终聚合,并且不需要将窗口与小批量对齐,所以这个技巧不是必需的,如果没有它也可以非常快速地工作。
【讨论】: