Kafka 消费者 - 生产者性能测量答案

【问题标题】：Kafka consumer - producer performance measurementsKafka 消费者 - 生产者性能测量
【发布时间】：2018-11-27 05:48:40
【问题描述】：

如何衡量 Java 应用程序中 Kafka 生产者和消费者的比率？ Kafka 代理是否提供任何性能指标？

【问题讨论】：

标签： apache-kafka

【解决方案1】：

Kafka 本身公开了许多性能指标。在我的雇主，我们使用 Prometheus 来摄取和存储这些指标，并使用 Grafana 前端来处理图表 + 仪表板。我们还检测我们的应用程序，包括使用 Prometheus 库的 Java 应用程序，并公开+抓取自定义指标，以帮助我们了解数据管道和性能的各个方面。

【讨论】：

您能告诉我如何使用 Kafka 性能指标吗？我应该如何检查它们？
运行 Kafka 代理时，设置环境变量 KAFKA_OPTS=-javaagent:/usr/share/jmx_prometheus_javaagent-0.3.1.jar=7071:/usr/share/kafka-0-8-2.yml 并使用指向来自 https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar 和 https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-0-8-2.yml 的文件的本地路径
之后，您应该能够通过使用curl my-kafka-broker:7071/localhost 进行 http 测试来查看指标。当你确认它工作正常后，设置一个 Prometheus 服务器并将你的 Kafka 代理配置为抓取目标。然后你应该会看到你的 Kafka 指标。
谢谢，我会尝试然后告诉你。
这些命令的顺序重要吗？我无法连接到端口 7071 上的服务器。