【发布时间】:2021-12-04 15:07:31
【问题描述】:
我是 Kafka 的初学者。我知道具有相同组 id 的多个消费者不能使用主题中同一分区的消息。我想知道如果一个消费者组中的多个 Kafka 消费者从一个分区中读取相同的消息会发生什么,以及为什么它是一件坏事。
.
【问题讨论】:
-
请提供足够的代码,以便其他人更好地理解或重现问题。
标签: apache-kafka kafka-consumer-api partition
我是 Kafka 的初学者。我知道具有相同组 id 的多个消费者不能使用主题中同一分区的消息。我想知道如果一个消费者组中的多个 Kafka 消费者从一个分区中读取相同的消息会发生什么,以及为什么它是一件坏事。
.
【问题讨论】:
标签: apache-kafka kafka-consumer-api partition
显然,几乎从来没有打算多次处理相同的记录,但更多的是归结为偏移管理
如果组中的多个消费者读取同一条消息并提交消息的偏移量以表明它已成功处理,则最终提交(最慢的消费者)总是获胜。同时,其他消费者已经在继续处理其他数据了。
当这种情况发生并且任何消费者客户端重新启动时,它需要回退到最后提交的偏移量,尽管之后已经处理了消息
【讨论】: