【发布时间】：2017-12-18 17:32:50
【问题描述】：
我有一个包含 5 个分区的主题。 我有 5 个线程，每个线程创建一个消费者 所有消费者都使用 group.id 与同一个消费者组。 我还给每个消费者一个不同且唯一的client.id
我看到 2 个消费者正在读取相同的消息以进行处理 卡夫卡应该处理这个吗？ 我该如何解决？
【问题讨论】：
标签： apache-kafka
【发布时间】：2017-12-18 17:32:50
【问题描述】：
同一组内的消费者不应收到相同的消息。分区应在所有消费者之间拆分，并且在任何时候 Kafka 的消费者组逻辑确保每个分区只分配一个消费者。
例外情况是，如果 1 个消费者在能够提交其偏移量之前崩溃。在这种情况下，分配到分区的新消费者将从上次提交的偏移量重新消费。
您可以使用Kafka自带的消费者组工具kafka-consumer-groups来检查分配给您组中每个消费者的分区。
【讨论】：
-
谢谢。我将自动提交设置为 true，提交时间为 1000 毫秒。
-
我已将自动通信设置为 true。什么会导致它失败？
-
您确定没有将同一消息发送到多个分区吗？还可以使用消费者组工具确认您看到所有消费者并查看他们分配到哪些分区。
-
是的，我正在使用 kafka 查看器查看有一条消息。还有一个消费者组有 5 个消费者。