获取有关 Kafka 连接集群的信息答案

【问题标题】：Getting info about Kafka connect cluster获取有关 Kafka 连接集群的信息
【发布时间】：2021-03-24 21:25:46
【问题描述】：

我目前有两个节点的 Kafka 连接集群，使用相同的 group.id

使用 curl /connectors 时，我可以获得已创建的连接器列表，但看不到有关活动节点的信息，健康检查...

【问题讨论】：

标签： apache-kafka apache-kafka-connect

【解决方案1】：

Kafka Connect 不会从 REST API 公开此类信息。

您可以做的最好的事情是点击/connectors/{name}/status，然后建立一组所有正在运行的工作人员，但这仍然不能保证 100% 为您提供所有节点。

【讨论】：

【解决方案2】：

我知道可能会迟到，但改进 KC 集群监控的一种方法是使用这个 Kafka REST 扩展： https://github.com/LoObp4ck/kafka-connect-healthchecks

然后让您的监控定期作业检查此端点，以确保所有连接器任务运行正常。我们在生产中使用它并完成工作

jar 也可以在 maven Central 中使用，如下所示：

<dependency>
  <groupId>net.loobpack.kafka-connect-healthchecks</groupId>
  <artifactId>kafka-connect-healthcheck-extension</artifactId>
  <version>1.0.0</version>
</dependency>

【讨论】：