Kafka消费者滞后监控可视化答案

【问题标题】：Kafka consumer lag monitoring visualizationKafka消费者滞后监控可视化
【发布时间】：2020-08-05 06:07:50
【问题描述】：

我是卡夫卡的新手。在学习kafka的过程中，我认为需要监控消费者的滞后。当我从谷歌和文档中搜索时，我发现了一些方法。

卡夫卡-普罗米修斯-graphana
kafka - burrow - someDB - graphana
kafka - burrow_stat？（我不明白它是什么......）
kafka - 数据狗我想问的是文件说洞穴是用于监控的，我可以像图形（仪表板）一样可视化吗？没有其他工具，如 graphana、kibana 或 datadog？？

我只是想减少管道步骤。可视化消费者滞后的简单方法应该是什么？

【问题讨论】：

【解决方案1】：

如果您在组织中进行设置，datadog 或 prometheus 可能是您的最佳选择。您也可以捕获其他与 Kafka 相关的指标。这些代理还与 Kafka 之外的许多其他工具集成，将是一个很好的常见监控选择。

如果您只是为项目的个人 POC 类型做它并且只想查看滞后，我发现 CMAK 非常有用 (https://github.com/yahoo/CMAK)。这确实没有历史数据，但提供了 Kafka 集群的良好当前视觉状态，包括延迟。

【讨论】：

【解决方案2】：

对于集群范围的指标，您可以使用 kafka_exporter (https://github.com/danielqsj/kafka_exporter)，它公开了一些非常有用的集群指标（包括消费者延迟），并且易于与 prometheus 集成并使用 grafana 进行可视化。

【讨论】：

【解决方案3】：

Burrow 非常有效，专门用于监控消费者滞后。Burrow 擅长校准消费者偏移，更重要的是验证滞后是否是恶意的。它与 pagerduty 集成，以便将警报推送给必要的各方。

洞穴有什么：

如果您正在寻找快速解决方案，您可以部署 burrow，然后部署 burrow 前端 https://github.com/GeneralMills/BurrowUI

【讨论】：