【问题标题】:Flink Tumble Window Trigger timeFlink Tumble Window 触发时间
【发布时间】:2020-06-23 07:59:19
【问题描述】:

我正在使用 Flink 来聚合来自 kafka 主题的数据。我正在使用 1 小时的滚动窗口,时间特征设置为事件时间。我还使用 AscendingTimestampExtractor 并根据 json 中的特定字段值为输入分配水印。

env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);

我们可以假设用于加水印的 JSON 字段有一个类似于系统时钟的时间值。

如果我在下午 3:25 部署作业,我什么时候可以期待 flink 聚合输出?是在下午 4:00、下午 5:00 ... 还是下午 3:25 -4:25、下午 4:25 -5 :25....

【问题讨论】:

    标签: java apache-kafka stream apache-flink windowing


    【解决方案1】:

    Flink 的窗口与 epoch 对齐(而不是第一个事件),所以如果作业在 3:25 部署,第一个窗口大约是 3:00:00 到 3:59:59.999 的时间间隔,并且很快就会产生(基于水印)。

    请注意,您可以将偏移量传递给构造函数,因此如果希望窗口在整点后 10 分钟结束,您可以通过指定来完成此操作

    .window(TumblingEventTimeWindows.of(Time.hours(1), Time.minutes(10)))
    

    【讨论】:

      猜你喜欢
      • 2018-08-10
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-10-30
      • 1970-01-01
      相关资源
      最近更新 更多