是否可以在 DCOS 中监控 kafka 生产者/消费者指标？答案

【问题标题】：Is it possible to monitor kafka producer/consumer metrics in DCOS?是否可以在 DCOS 中监控 kafka 生产者/消费者指标？
【发布时间】：2019-08-11 15:24:48
【问题描述】：

我试图在不使用 Confluent Control Center 的情况下执行此操作，因为我没有许可证。

我可以使用 dcos task metrics details <broker-id> 查看 Kafka Broker 指标，并看到所有这些指标都已在我的 DCOS Prometheus 实例上公开。

但是，尽管在 dcos 上有一些生产者/消费者任务，但我在 Prometheus 上看不到任何可用的消费者/生产者指标。

我可以遵循一个流程来在 dcos 上公开 kafka 生产者/消费者指标吗？我尝试了以下 https://github.com/ibm-cloud-architecture/refarch-eda/blob/master/docs/kafka/monitoring.md 。

但据我了解，我们还不能在托管在 DCOS 上的 Kafka 实例上使用 JMX（来源：https://jira.mesosphere.com/browse/DCOS_OSS-3632?page=com.atlassian.jira.plugin.system.issuetabpanels%3Achangehistory-tabpanel）

有什么想法吗？

【问题讨论】：

标签： apache-kafka prometheus confluent-platform mesosphere dcos

【解决方案1】：

您必须将 Prometheus JMX 导出器添加到您的每个 Kafka Java 进程中，然后您需要让 Prometheus 服务器能够抓取这些导出器。为此，您可以在每个进程（容器？）中下载该 JAR，然后编辑 KAFKA_OPTS 环境变量以包含 -javaagent 选项

AFAIK，这不需要设置可远程访问的 JMX 端口。

注意：控制中心不监控 JMX 值。它使用 Kafka MetricsReporters 和拦截器。如果您选择自己编写或查找其他接口，则使用这些接口根本不需要控制中心。

【讨论】：