【问题标题】:No label/attribute for some Kafka consumer metrics exposed by Spring boot actuator and micrometerSpring boot actuator 和 micrometer 暴露的一些 Kafka 消费者指标没有标签/属性
【发布时间】:2020-07-22 12:42:05
【问题描述】:

我已经配置了 Spring boot 执行器和千分尺来公开 Kafka 消费者指标。一些 Kafka 指标没有“主题”标签。例如,

kafka_consumer_records_consumed_total_records_total{client_id="consumer-1",topic="topic1",} 0.0
kafka_consumer_records_consumed_total_records_total{client_id="consumer-2",topic="topic2",} 0.0
kafka_consumer_records_consumed_total_records_total{client_id="consumer-3",topic="topic3",} 0.0

kafka_consumer_commit_latency_max_seconds{client_id="consumer-1",} 0.013
kafka_consumer_commit_latency_max_seconds{client_id="consumer-2",} 0.013
kafka_consumer_commit_latency_max_seconds{client_id="consumer-3",} 0.013

我的问题是

  1. 是否需要任何配置才能显示指标 kafka_consumer_commit_latency_max_seconds 的“主题”标签?

  2. 我注意到 client_id="consumer-1" 与 topic="topic1" 相同,即使在应用程序重新启动后也是如此。我可以依靠 client_id 始终指向特定主题吗?

【问题讨论】:

    标签: spring-boot apache-kafka spring-kafka spring-boot-actuator micrometer


    【解决方案1】:

    有些指标对消费者来说是全局性的;有些特定于某个主题,有些特定于某个主题/分区。

    client.id 是固定的;当由 kafka-clients 生成时,不能保证您将始终为某个主题获得相同的主题,但您可以为每个消费者设置一个特定的 ConsumerConfig.CLIENT_ID

    【讨论】:

    • 谢谢加里。我能够为每个消费者设置 ClientIdPrefix。
    • 太好了 - 我看到你是新来的;见stackoverflow.com/help/someone-answers
    • Gary Russell - Spring boot 是否也公开了 Kafka Producer 指标?我看到的只是消费者指标。
    • 不是在 2.3 之前的版本,见KafkaMetricsAutoConfiguration; 2.3 现在公开两者 - 它不再使用已弃用的 JMX-scraped 指标,而是使用来自 Micrometer 的较新的 KafkaClientMetrics
    猜你喜欢
    • 2019-04-04
    • 2018-07-05
    • 1970-01-01
    • 1970-01-01
    • 2021-06-16
    • 2020-07-14
    • 1970-01-01
    • 2020-03-29
    • 2020-08-08
    相关资源
    最近更新 更多