【问题标题】:Where to set maximum message size in Apache Kafka?Apache Kafka 在哪​​里设置最大消息大小?
【发布时间】:2018-10-16 21:02:34
【问题描述】:

我可以在哪个文件中增加 Kafka 的最大消息大小? (我正在发送String、byte[]的记录,当我发送770kb的byte[]时,Kafka不发送消息)

【问题讨论】:

  • 这个问答可能完全解释了它:stackoverflow.com/questions/21020347/… - 它适用于 Kafka 0.8,但我相信这对于较新版本的 Kafka 仍然是正确的。让我们知道这是否有效,然后我可以将其标记为重复。 (这很好,它只是将其他有同样问题的人指向正确的问题)
  • @ErwinBolwidt 我在生产者中将replica.fetch.max.bytes 设置为1000000,将max.request.size 设置为1000000,在消费者中将max.partition.fetch.bytes 设置为1000000,但消息仍然不是发送
  • 还有message.max.bytes ?

标签: java apache-kafka


【解决方案1】:

在 kafka 0.11.0 中需要设置以下四个配置选项

代理配置选项 (details):

  1. message.max.bytes - Kafka 允许的最大记录批量大小。

  2. replica.fetch.max.bytes - 尝试为每个分区获取的消息字节数。

生产者配置选项(details):

  1. max.request.size - 请求的最大大小(以字节为单位)。建议将此值与 (message.max.bytes) 匹配。

消费者配置选项(details):

  1. max.partition.fetch.bytes - 服务器返回的每个分区的最大字节数。应该大于 max.message.size 以便消费者可以读取代理发送的最大消息。

【讨论】:

    猜你喜欢
    • 2020-06-29
    • 2016-06-12
    • 1970-01-01
    • 1970-01-01
    • 2015-03-06
    • 1970-01-01
    • 2010-09-27
    • 2010-11-14
    • 1970-01-01
    相关资源
    最近更新 更多