【发布时间】:2018-11-21 16:17:22
【问题描述】:
我有一个包含多个消费者的消费者组。每个消费者都被分配到一组分区。当消费者轮询选择消费分区的消息时?它是在消费者端完成的,还是 Kafka 服务器决定轮到哪个分区被消费?
我的一些分区有很多消息,但有些没有或很少。但是我仍然需要我的消费者平等地使用它分配的每个分区。所以我需要我的消费者快速遍历分区,最好从每个分配的分区轮询 x 条消息。
【问题讨论】:
标签: apache-kafka
我有一个包含多个消费者的消费者组。每个消费者都被分配到一组分区。当消费者轮询选择消费分区的消息时?它是在消费者端完成的,还是 Kafka 服务器决定轮到哪个分区被消费?
我的一些分区有很多消息,但有些没有或很少。但是我仍然需要我的消费者平等地使用它分配的每个分区。所以我需要我的消费者快速遍历分区,最好从每个分配的分区轮询 x 条消息。
【问题讨论】:
标签: apache-kafka
【讨论】:
max.partition.fetch.bytes 似乎是我需要设置为较低值以使我的分区更均匀地消耗的关键配置。