Kafka Producer 将生产者消息限制为 1024 字节答案

【问题标题】：Kafka Producer limits producer messages to 1024 bytesKafka Producer 将生产者消息限制为 1024 字节
【发布时间】：2020-07-10 01:19:39
【问题描述】：

我正在尝试使用终端生成 kafka 消息。我下载了这个版本kafka_2.12-2.4.1.tgz。我尝试启动 Zookeeper 服务器，然后启动 Kafka 服务器。我有一个超过 1024 字节的 json。不允许发送超过 1024 字节。

我尝试引用How can I send large messages with Kafka (over 15MB)?。但这没有帮助。不确定我是否遗漏了任何配置更改。

生产者配置

max.request.size=2147483647 
socket.buffer.size=2147483647

服务器配置

socket.request.max.bytes=2147483647
replica.fetch.max.bytes=2147483647
message.max.bytes=2147483647
max.message.bytes=2147483647
replica.fetch.max.bytes=2147483647

消费者配置

max.request.size=2147483647
fetch.message.max.bytes=2147483647
max.partition.fetch.bytes=2147483647

【问题讨论】：

提供你的生产者配置
@bottaio : 添加了配置

标签： apache-kafka kafka-consumer-api kafka-producer-api

【解决方案1】：

您也应该增加max.partition.fetch.bytes 消费者配置参数以接收大消息。

max.partition.fetch.bytes：服务器将返回的每个分区的最大数据量。分批获取记录由消费者。如果第一个记录批次中的第一个非空 fetch的partition大于这个限制，batch仍然会被退回以确保消费者可以取得进展。最大值代理接受的记录批量大小通过以下方式定义 message.max.bytes（代理配置）或 max.message.bytes（主题配置）。请参阅 fetch.max.bytes 以限制消费者请求大小。

【讨论】：