Kafka 消费者通过 JMX 滞后答案

【问题标题】：Kafka consumer lag through JMXKafka 消费者通过 JMX 滞后
【发布时间】：2023-04-11 09:59:01
【问题描述】：

我正在尝试监控 Kafka 0.10 中消费者组的滞后。

我们的消费者在 Kafka 而不是 ZooKeper 中跟踪他们的偏移量。这意味着我可以使用以下方法获取数据：

bin/kafka-consumer-groups.sh --bootstrap-server <broker> --describe --group <group-name>

这很好用。但是，我的经纪人已经使用Prometheus JMX exporter 来收集一些统计数据。我已将 JConsole 连接到代理，但在 JMX 中报告的数据与 kafka-consumer-groups.sh 报告的数据不同。

是否可以通过 JMX 从 Kafka 获取这些信息，而不需要任何其他工具？

【问题讨论】：

Kafka Consumer - JMX Properties的可能重复
《Kafka：权威指南》推荐使用 Burrow：engineering.linkedin.com/apache-kafka/…
看来那本书和 Burrow 共享一个作者。有什么特别的理由推荐洞穴吗？我们已经有一个警报/监控工具，所以我不需要这方面，只需要消费者滞后信息。

标签： apache-kafka jmx

【解决方案1】：

您可以检索所有分区的指标kafka.consumer:type=consumer-fetch-manager-metrics,client-id={client-id} 的属性{topic}-{partition}.records-lag。那应该等同于consumer-groups.sh的输出

【讨论】：

我在jconsole 中看不到任何kafka.consumer。我正在通过jmx 连接到代理，因为我们使用的是非基于 JMV 的消费者。
如 cmets 和“重复”问题中所述 - 这不是代理 JMX 属性，而是消费者的
kafka.cosumer 仅在用 java 或 scala 编写的消费者客户端上...它不在代理上...
我意识到这是旧的但正在研究同样的问题；如果 kafka-consumer-metrics 现在仅在客户端上可用，那似乎不可行，如何检索每个消费者在某个主题上的最大延迟？