使用 Jmx Exporter for Prometheus 缺少 Confluent Kafka Connect 指标答案

【问题标题】：Missing Confluent Kafka Connect Metrics using Jmx Exporter for Prometheus使用 Jmx Exporter for Prometheus 缺少 Confluent Kafka Connect 指标
【发布时间】：2020-11-04 18:16:48
【问题描述】：

我无法为 Confluent 连接服务导出“type=connector-metrics”指标，但其他指标工作正常。

我正在使用 prometheus exporter java 代理从 Confluent connect 公开指标，如下所示。

Confluent 连接配置 (/usr/bin/connect-distributed)

export KAFKA_OPTS='-javaagent:/opt/prometheus/jmx_prometheus_javaagent-0.12.0.jar=8093:/opt/prometheus/kafka-connect.yml'

kafka-connect.yml

   - pattern: kafka.connect<type=connector-metrics, connector=(.+)><>([a-z-]+)
     name: kafka_connector_$2
     labels:
       connector: "$1"
     help: "Kafka Connect JMX metric $1"
     type: GAUGE

使用 JMXTERM 工具，我可以看到“type=connector-metrics”的属性

$>bean kafka.connect:connector=local-file-sink,type=connector-metrics
#bean is set to kafka.connect:connector=local-file-sink,type=connector-metrics
$>info
#mbean = kafka.connect:connector=local-file-sink,type=connector-metrics
#class name = org.apache.kafka.common.metrics.JmxReporter$KafkaMbean
# attributes
  %0   - connector-class (double, r)
  %1   - connector-type (double, r)
  %2   - connector-version (double, r)
  %3   - status (double, r)
#there's no operations
#there's no notifications
$>get connector-type
#mbean = kafka.connect:connector=local-file-sink,type=connector-metrics:
connector-type = sink;

$>get status
#mbean = kafka.connect:connector=local-file-sink,type=connector-metrics:
status = running;

Confluent Connect 版本 - 5.4

有解决上述问题的建议吗？

【问题讨论】：

我看到了同样的行为。 type=connector-metrics 什么都没有。你想清楚了吗？

标签： apache-kafka monitoring prometheus apache-kafka-connect jmx-exporter

【解决方案1】：

我一直在为同样的问题头疼。此后，我通过升级到最新的 jmx_exporter (0.13.0) 并使用了示例连接器导出器配置文件 (https://github.com/prometheus/jmx_exporter) 找到了解决方法。我找不到更改日志来说明发生了什么变化，但他们“修复”了一些东西。

【讨论】：

【解决方案2】：

看来问题是connector-metric的属性类型是double，而value是string。

这里是我如何获取状态指标的示例：

# kafka.connect:type=connector-metrics,connector="{connector}"
  - pattern: 'kafka.connect<type=connector-metrics, connector=(.+)><>status: ([a-z-]+)'
    name: kafka_connectors_status
    value: 1
    labels:
      connector: $1
      status: $2
    help: "Kafka Connect JMX metric connectors status"
    type: GAUGE

【讨论】：