消息在 Apache Kafka 中被截断

Question

我是 kafka 的新手，我已经在本地安装了带有默认配置的 kafka 10。现在，我面临一个问题。 我正在从控制台生产者那里生成消息。如果消息大约是 4096 字节。然后，它被控制台消费者很好地消费了。 但是当我从 4096 字节增加消息大小时。然后，在使用它时，消息被截断到大约 4096 字节。 我没有遇到问题。

发生了什么？ a) 消息是否发布不完整。 b) 消息是否被不完全消费。

注意：我没有对默认设置进行任何更改，我正在使用控制台生产者和消费者。

请大家帮忙

Answer 1

可能是因为您使用控制台生产者并将消息复制到终端（linux）但终端将长消息截断到最大固定长度而发生的问题。

Answer 2

您可能需要微调您的代理配置。 查看此页面：https://kafka.apache.org/documentation/#brokerconfigs

查找 offset.metadata.max.bytes。默认值为 4096。将此值设置为大于 4096 的值。如果这不起作用，请查找其他配置。您的问题可能是没有使用正确的配置。