如何让消费者从 Kafka 请求超过 1MB 的记录

【问题标题】：How can I make consumer request more than 1MB records from Kafka如何让消费者从 Kafka 请求超过 1MB 的记录
【发布时间】：2016-10-20 03:44:16
【问题描述】：

每当我的消费者从 Kafka 请求一个新批次时，它总是请求 1MB 的数据，然后它似乎请求下一个 1MB，依此类推。有人知道接收批量 20MB 的配置和编程步骤是什么吗？

【问题讨论】：

【解决方案1】：

您可以将消费者属性中的属性max.partition.fetch.bytes 设置为您想要的值（默认为1MB）。

此外，该值必须等于或大于代理配置中的max.message.size 属性，以确保您的消费者能够读取代理接受的所有消息。

最后，如果处理 20MB 的时间太长，您可能需要增加消费者的 session.timeout.ms 设置（默认为 3 秒），以避免代理认为您的消费者已死并触发重新平衡。

【讨论】：