kafka_source(consumer)

  • setStartFromLatest
    • Flink从topic中最新的数据开始消费,不管哪个消费者是否同个消费组
    • 如果设置了保存点,则会记录自己的offect,不管其他的消费者是否消费了
  • setStartFromGroupOffsets
    • 必须配置group.id参数
    • 启动会获取最新的groupid对应的offect
    • 如果同个groupid其他的消费者消费了,则flink会忽略期间的数据
    • 如果flink消费了数据则会更新groupid对应的offect
    • 如果设置了保存点,则会记录自己的offect,不管同组的其他消费者是否消费了.
  • setStartFromEarliest
    • 从topic中最初的数据开始消费
  • setStartFromTimestamp
    • 从topic中指定的时间点开始消费,指定时间点之前的数据忽略
  • setStartFromSpecificOffsets
    • 从topic中指定Offsets开始消费
  • flink kafka source使用注意事项

相关文章:

  • 2021-06-11
  • 2022-02-16
  • 2021-10-15
  • 2021-11-16
  • 2021-09-06
  • 2021-11-09
  • 2021-12-05
猜你喜欢
  • 2021-09-30
  • 2022-12-23
  • 2022-12-23
  • 2021-11-23
  • 2021-11-15
  • 2021-10-04
  • 2017-12-09
相关资源
相似解决方案