【问题标题】:Kafka consumer offsets handling when shutting downKafka消费者关闭时的偏移处理
【发布时间】:2021-03-02 14:31:31
【问题描述】:

启用自动提交后,当 Java Kafka 消费者被要求关闭时,它如何处理已经轮询的偏移量,它什么也不提交(至少一次)?它提交所有内容(最多一次)? 在“关闭”消费者之前,是否有一种本地方法可以仅提交部分已处理的偏移量? 谢谢!

【问题讨论】:

    标签: apache-kafka kafka-consumer-api


    【解决方案1】:

    auto.commit 基本上作为带有auto.commit.interval.ms 设置的cron 工作。消费者在上述定期间隔内提交。如果您想控制提交过程,请禁用 auto.commit 属性并使用提交 API。您可以使用同步或异步提交。顺便说一句,同步提交会影响你的整个过程,因为消费者会在继续进一步轮询之前等待经纪人的确认。

    更多详情 - https://docs.confluent.io/platform/current/clients/consumer.html

    【讨论】:

      猜你喜欢
      • 2020-12-14
      • 1970-01-01
      • 2020-07-20
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-06-11
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多