【发布时间】：2017-01-19 01:24:53
【问题描述】：
在 Kafka 的旧消费者配置中，有一个属性 num.consumer.fetchers 用于配置用于获取数据的获取线程数。
在 Kafka 的新消费者配置中，是否有任何具有相同功能的属性？
如果没有，新的消费者是如何解决这个问题的？
【问题讨论】：
标签： apache-kafka kafka-consumer-api kafka-python
【发布时间】：2017-01-19 01:24:53
【问题描述】：
新的消费者是单线程的（不包括后台心跳线程），所以没有提供等效的配置。
顺便说一句，'num.consumer.fetchers' 并没有像文档所说的那样指定 fetcher 线程的数量。它实际上控制了 Kafka 可以创建的 fetcher 线程的可能最大数量。
【讨论】：
-
好的！在这种情况下，为了以更快的方式消费消息，我应该实例化更多的消费者、多个客户端吗？
-
同一个consumer group中的多个consumer会被分配不同的partition，所以只添加consumer编号是没有用的。您应该调整 Kafka 提供的配置选项来实现这一点。实际上，消息消费往往比事件处理快得多，因此已经做出了很多努力来改进后者。