监控动态（按比例放大/缩小）kafka 集群

Question

我们正在使用 kafka 集群，我们想要监控这个集群。

我们目前的方法：

1. 收集 jmx 指标（telegraf jolokia plugin 或 jmxtrans）
2. 存入潮
3. 通过 grafana 渲染

但是我们遇到了 kafka 代理列表的静态配置问题。 我们只能通过Jmxtrans或Telegraf jolokia plugin配置静态列表。

我们想要动态列表（例如仅配置 kafka 集群 zookeeper 连接，以便在收集指标的每次迭代中获取代理列表）以扩大/缩小 kafka 的情况。

是否存在另一种监控动态 kafka 集群的工具？

Answer 1

下一个我的最终解决方案：

1. 自定义 bash 输入插件（因为我不想用一个自定义 go 输入插件构建自己的电报，而且我现在不太了解 go 语言:)）
2. 在 bash 插件中 zkCli 用于所有 kafka 节点发现
3. 下一个 bash 脚本批量发布 jolokia 请求到每个 kafka 节点，聚合并格式化为流入插件。