如何在 Windows 中设置 Kafka 属性（在哪些属性文件中）并监控 Kafka 集群运行状况？答案

【问题标题】：How to set Kafka properties (in what property files) in Windows & monitor Kafka cluster health?如何在 Windows 中设置 Kafka 属性（在哪些属性文件中）并监控 Kafka 集群运行状况？
【发布时间】：2021-01-24 18:03:29
【问题描述】：

我在我的 Windows 上设置了 Kafka，并设置了一个由 2 个代理组成的本地 Kafka 集群。在与 2 个代理合作时，我正在尝试调试某些 Kafka 可靠性问题，其中一个出现故障，两个都出现故障等，并且有几个问题。

我可以在什么 .properties 文件（就像我们有 server.properties）中设置以下 Kafka 相关属性： a) broker.rack b) min.insync.replica c) unclean.leader.election.enable d) enable.auto.commit
当我尝试监控集群运行状况时，在哪里检查 Kafka 消费者“消息”提交日志？
如何监控集群中每个代理的“不同步”行为？（需要这个只是为了查看我的代理在集群中的不同步情况，如果有严重的缺陷我需要在集群配置中展开）

欢迎回答我的问题、参考资料、调试集群健康的方法和输入！

【问题讨论】：

标签： apache-kafka

【解决方案1】：

您可以在Broker Configs 下找到 server.properties 文件的所有属性。 enable.auto.commit 是消费者配置。

不确定我是否理解您所说的“提交日志”是什么意思。消费者组偏移存储在名为__consumer_offsets 的主题中。所有主题都存储在log.dirsbroker 上的段文件中

您可以使用 JMX Exporter + Prometheus + Grafana 或 Cruise Control 等工具进行常规 Kafka 监控。两者都应该让您了解 ISR 状态

【讨论】：