有什么好的资源可以自动检查 kafka 集群是否遵循最佳实践并且集群是否运行健康？

【问题标题】：Any good resource that automates to check if kafka cluster is following best practices and cluster is operating healthy?有什么好的资源可以自动检查 kafka 集群是否遵循最佳实践并且集群是否运行健康？
【发布时间】：2022-07-08 03:03:37
【问题描述】：

作为一名帮助 Cx 部署 Apache Kafka 的顾问，我想检查我们是否有任何开源自动化脚本可以针对 Kafka 集群运行并提取详细报告并检查集群是否有任何错误配置或集群没有遵循标准的最佳实践?以下是脚本可以检查的几件事

集群是否过载？
集群中有多少个主题和分区？
集群是否根据分配的基础架构拥有正确数量的主题？
是否有任何主题出现吞吐量偏差？
集群是否因客户端连接过多而过载？
集群是否面临任何性能问题？

【问题讨论】：

标签： apache-kafka

【解决方案1】：

集群过载？

设置通用 CPU、网络 + JVM 监控

集群中有多少主题和分区？

我相信 JMX 可以检查这个，但是大多数现有的 Kafka GUI 工具也有这个

基于分配的基础设施的正确主题数量？

没有“正确的数字”。据报道，最新版本的 Kafka 可以拥有数万到数十万个主题，即使是在少数几个代理上

正在经历吞吐量偏差的主题？

根据我的经验，检测这种情况的唯一合理方法是使用生产者拦截器收集使用的分区，或者通过 SSH 访问代理并检查日志段数据

客户端连接过多？ ...面临任何性能问题？

查看第一条评论。

【讨论】：