Kafka 连接器的健康检查答案

【问题标题】：Health Check for Kafka ConnectorsKafka 连接器的健康检查
【发布时间】：2018-12-25 06:59:10
【问题描述】：

我有几个 Kafka connectors 正在生产中。有时，这些连接器之一会因错误消息而死：

ERROR WorkerSinkTask{id=jdbc-sink-0} 任务抛出一个未捕获的并且不可恢复的异常 (org.apache.kafka.connect.runtime.WorkerTask:172) org.apache.kafka.common.errors.WakeupException 在

...

ERROR WorkerSinkTask{id=jdbc-sink-0} 任务被杀死并且在手动重新启动之前不会恢复 (org.apache.kafka.connect.runtime.WorkerTask:173)

奇怪的是，这个死连接器的 REST-API 仍然说一切正常。

监控这种情况的最佳做法是什么？

【问题讨论】：

哪个休息端点说没问题？任务端点应该说它失败了。
日志文件或状态端点应该包含堆栈跟踪。任务已死。连接器 API 仍可用于添加新连接器

标签： apache-kafka-connect health-monitoring

【解决方案1】：

我知道已经晚了，但改进 KC 集群监控的一种方法是使用这个 Kafka REST 扩展： https://github.com/LoObp4ck/kafka-connect-healthchecks

然后让您的监控定期作业检查此端点，以确保所有连接器任务运行正常。我们在生产中使用它并完成工作

jar 也可以在 maven Central 中使用，如下所示：

<dependency>
  <groupId>net.loobpack.kafka-connect-healthchecks</groupId>
  <artifactId>kafka-connect-healthcheck-extension</artifactId>
  <version>1.0.0</version>
</dependency>

【讨论】：