Kafka消费者可以从所有分区消费吗答案

【问题标题】：Can Kafka consumers consume from all partitionsKafka消费者可以从所有分区消费吗
【发布时间】：2020-01-17 15:48:11
【问题描述】：

我有一个由多个消费者（同一组）使用的多分区主题。我的目标是最大化消费处理，即任何消费者都可以消费来自任何分区的消息。

我知道这看起来是不可能的，因为只有一个消费者可以从一个分区消费。

是否可以使用 REST 代理来实现这一点？例如，轮询所有 Proxy 消费者实例。

谢谢。

【问题讨论】：

【解决方案1】：

Kafka 消费者，默认，被配置为从尽可能多的分区消费。如果您在同一个主题上有多个同时使用的消费者，使用相同的消费者组 ID，Kafka 将自动将卷分配给所有这些消费者。这是设计使然，因此您可以通过添加更多消费者来快速扩展消费。

您可以选择指示 kafka 使用者仅从特定分区中使用，甚至包括到一个，但您必须明确地这样做。

【讨论】：

【解决方案2】：

最大化消费处理的最佳方式是让一个消费者（同一组）从每个分区读取。

作为改进措施，您还可以查看：

另外提醒一下，分区和消费者组只允许一个消费者，以避免并发问题。 如果 2 个消费者提交不同的偏移量会发生什么？ -> 你最终会读两遍消息或跳过其中一些！

【讨论】：