【问题标题】:In Apache Flink, how to achieve the same effect like reduceByKeyAndWindow provided by Apache在 Apache Flink 中,如何实现与 Apache 提供的 reduceByKeyAndWindow 一样的效果
【发布时间】:2016-02-18 20:25:53
【问题描述】:

在 Apache Spark Streaming 中,reduceByKeyAndWindow 使用户能够在旧数据过期时提供反函数。程序员可以使用这个函数来减少被移除事件的计数值。

我想知道如何在 Apache Flink 中实现同样的效果。

【问题讨论】:

  • 我认为这是 Flink 不使用的性能方面,因为它的窗口实现有效。有点不同。

标签: apache-flink


【解决方案1】:

这是 Flink 不使用的特定于 Spark 的构造,因为它的窗口实现不同。它用于滑动窗口,以“撤消”聚合。

由于 Flink 不需要跨小批量(而只是跨内部窗格)进行最终聚合,并且不需要将窗口与小批量对齐,所以这个技巧不是必需的,如果没有它也可以非常快速地工作。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-08-31
    • 2016-02-26
    • 1970-01-01
    • 2016-03-24
    • 2020-08-30
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多