Kafka分区的含义

【问题标题】：Kafka partitions meaningKafka分区的含义
【发布时间】：2015-05-18 14:59:16
【问题描述】：

当我们决定分区时，我们应该根据每个主题来做，还是在主题范围内做决定？如果 T1 在 3 个分区上分区，和 T2 在 2 个分区上分区，它们都可以被 1 个消费者消费吗？

或者，如果主题必须由 1 个消费者消费，那么最好将分区数量相等？

我这样问是因为可以通过传递主题和分区号来创建高级消费者。

所以我想知道我是否应该只将具有相同分区号的主题传递给该构造函数？

【问题讨论】：

【解决方案1】：

当我们创建高级消费者时，我们传递的不是分区号，而是预期的消费线程（流）数量。

答案是肯定的，它们可以被 1 个消费者消费。（如果该消费者订阅了这两个主题）消费者只需打开 N 个流/预期数量的消费线程（您将其作为参数传递！）。如果 N P，部分流将处于非忙等待状态。

P=N 是可取的，但 N > P 更好，因为明天如果出现新分区 - 您将准备好迎接更大的负载。

我对此进行了研究并创建了一个博客entry

【讨论】：