【发布时间】:2021-03-02 14:31:31
【问题描述】:
启用自动提交后,当 Java Kafka 消费者被要求关闭时,它如何处理已经轮询的偏移量,它什么也不提交(至少一次)?它提交所有内容(最多一次)? 在“关闭”消费者之前,是否有一种本地方法可以仅提交部分已处理的偏移量? 谢谢!
【问题讨论】:
标签: apache-kafka kafka-consumer-api
启用自动提交后,当 Java Kafka 消费者被要求关闭时,它如何处理已经轮询的偏移量,它什么也不提交(至少一次)?它提交所有内容(最多一次)? 在“关闭”消费者之前,是否有一种本地方法可以仅提交部分已处理的偏移量? 谢谢!
【问题讨论】:
标签: apache-kafka kafka-consumer-api
auto.commit 基本上作为带有auto.commit.interval.ms 设置的cron 工作。消费者在上述定期间隔内提交。如果您想控制提交过程,请禁用 auto.commit 属性并使用提交 API。您可以使用同步或异步提交。顺便说一句,同步提交会影响你的整个过程,因为消费者会在继续进一步轮询之前等待经纪人的确认。
更多详情 - https://docs.confluent.io/platform/current/clients/consumer.html
【讨论】: