【问题标题】:Unexpected throttling in kafka consumers卡夫卡消费者的意外节流
【发布时间】:2021-02-21 14:33:44
【问题描述】:

我有一个运行 zookeeper 的 Kafka 集群。我在 Kafka 中遇到了一个意想不到的节流场景。我看到大量以下日志条目。

[2021-02-18 20:56:57,541] 调试 [Consumer clientId=consumer-kafka-connect-splunk-hec-sink-all_remaining_topics-1,groupId=kafka-connect-splunk-hec-sink-all_remaining_topics]节点 0 为会话 1007820287 发送了一个增量获取响应,throttleTimeMs = 1003,其中 0 个响应分区,2 个隐含分区 (org.apache.kafka.clients.FetchSessionHandler)

我没有启用配额,所以我希望应用默认配额,这是非常高/无限制的。有什么想法为什么 Kafka 会在未启用配额的情况下限制消费者?

我也很好奇在哪里可以看到它被限制的原因(例如是带宽、I/O 等)

【问题讨论】:

    标签: apache-kafka


    【解决方案1】:

    原来这是 Kafka https://github.com/apache/kafka/pull/8959/files 中的一个错误

    【讨论】:

      猜你喜欢
      • 2019-07-03
      • 2018-05-05
      • 2021-08-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-10-28
      • 2015-12-18
      • 2019-03-27
      相关资源
      最近更新 更多