【问题标题】:Kafka Connect 5.5.0 - Unable to reset max.request.sizeKafka Connect 5.5.0 - 无法重置 max.request.size
【发布时间】:2020-11-15 18:21:49
【问题描述】:

在 confluent-5.5.0 中 - 我无法更改 max.request.size ,它在 ProducerConfig 中始终默认为 max.request.size = 1048576。

以下是我已经用noluck尝试过的参数:

confluent-5.5.0/etc/kafka/producer.properties

  max.request.size=15728640
  producer.max.request.size=15728640

confluent-5.5.0/etc/kafka/server.properties

  message.max.bytes=15728640
  replica.fetch.max.bytes=15728640
  max.request.size=15728640
  fetch.message.max.bytes=15728640

/data/confluent-5.5.0/etc/kafka/consumer.properties

  max.partition.fetch.bytes=15728640

confluent-5.5.0/etc/kafka-rest/kafka-rest.properties

  max.request.size=15728640

注意:这些值都没有在 connect.log 中更新

  1. 我已经停止/启动了 confluent-5.5.0 ,甚至破坏了之前的图像并重新启动。

我错过了什么吗?

以下我在评论信息后也尝试过:

/data/confluent-5.5.0/etc/kafka/connect-standalone.properties

producer.override.max.request.size=15728640 consumer.override.max.partition.fetch.bytes=15728640

/data/confluent-5.5.0/etc/kafka/connect-distributed.properties

producer.override.max.request.size=15728640 consumer.override.max.partition.fetch.bytes=15728640

仍在 max.request.size 中没有改变。

(已解决)基于输入:

我已经在connect中添加了上面的配置 或配置。并且还将政策从无更改为全部。哪个正确应用了配置更改。

【问题讨论】:

    标签: apache-kafka apache-kafka-connect kafka-producer-api


    【解决方案1】:

    Connect 不使用这些文件。

    • server 仅适用于 Apache Kafka 代理
    • consumer|producer 用于 kafka-console 实用程序
    • kafka-rest 仅适用于 Confluent REST 代理

    您需要使用connect-distributed.propertiesconnect-standalone.properties,并注意您需要使用前缀additionally set the property correctly

    【讨论】:

    • 感谢信息更新了我尝试过的问题
    • .override. 部分仅在连接器配置中,不在工作器配置中
    • 如果放在commect-distributed.propertiesproducer.max.request.size=15728640
    猜你喜欢
    • 2020-10-08
    • 2020-08-18
    • 2022-01-10
    • 2019-03-10
    • 2019-08-08
    • 1970-01-01
    • 2021-06-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多