将 GraphiteReporter 添加到 Kafka Connect 集群答案

【问题标题】：Add GraphiteReporter to Kafka Connect cluster将 GraphiteReporter 添加到 Kafka Connect 集群
【发布时间】：2021-03-17 23:03:31
【问题描述】：

我无法让 Kafka Connect 向 Graphite 发送指标：kafka.consumer:* 和 kafka.connect:*。在此处找到列表：https://kafka.apache.org/documentation/#connect_monitoring

到目前为止，我在 /usr/share/java/kafka-graphite-clients-0.10.2.jar 中构建并添加了这个 JAR

https://github.com/apakulov/kafka-graphite

并通过将其发布到连接休息 api 来更新工作人员配置：

{ 
    "metric.reporters": "org.apache.kafka.common.metrics.GraphiteReporter",
    "kafka.graphite.metrics.reporter.enabled": true,
    "kafka.graphite.metrics.host": "my.graphite.host",
    "kafka.graphite.metrics.prefix": "my.prefix",
    "connector.class": "io.confluent.connect.s3.S3SinkConnector",
    "tasks.max": "10",
    "topics": "topic1,topic2",
    "s3.region": "us-east-1",
    "s3.bucket.name": "my-bucket",
    "s3.part.size": "5242880",
    "s3.compression.type": "gzip",
    "timezone": "UTC",
    "rotate.schedule.interval.ms": "900000",
    "flush.size": "1000000",
    "storage.class": "io.confluent.connect.s3.storage.S3Storage",
    "format.class": "io.confluent.connect.s3.format.bytearray.ByteArrayFormat",
    "partitioner.class": "io.confluent.connect.storage.partitioner.DefaultPartitioner",
    "schema.compatibility": "NONE",
    "name": "s3-sink"
}

我似乎无法获取 GraphiteReporter，我不知道为什么。这不是将这些指标导入 Graphite 的正确方法吗？

【问题讨论】：

您必须编辑连接分布式属性，然后重新启动连接服务器。您不能为每个连接器添加记者
好的，我会试试的。总而言之，在 k8s 设置中，我需要将 metric.reporters 和 kafka.graphite.* 属性安装到 /etc/kafka/connect-distributed.properties 中的 connect-distributed.properties 文件中。除此之外，您能否确认我引用的 GraphiteReporter 是否确实可以报告 jmx 域：kafka.connect:* 和 kafka.consumer:*
我没用过...根据自述文件，它是在 connect 真正有 JMX 指标之前编写的，但是消费者的应该可以工作
嗯，值得一试，但我真的很想获得这些 kafka.connect 指标。你用过 jmx2graphite 吗？
我没有，但我认为你使用的任何 JMX 导出器都应该能够得到你想要的东西

标签： apache-kafka apache-kafka-connect

【解决方案1】：

如果有人需要这个，我们通过将它放在下面来成功运行相同的报告器实现

/usr/share/java/kafka/

【讨论】：