Flink Kafka 指标：如何获取它们答案

【问题标题】：Flink Kafka metrics: How to get themFlink Kafka 指标：如何获取它们
【发布时间】：2020-10-04 23:19:51
【问题描述】：

理想情况下，我想运行一些实验来测量我的应用程序的输入使用者的压力（即，如果我的应用程序滞后于输入数据主题并且消息到达的速度快于它们的处理速度）。有人告诉我这很常见，但我不知道该怎么做

我正在阅读 1.9 Metrics 文档，据我所知，我必须配置 conf/flink-conf.yaml（在独立模式下）让我们为 jmx 记者说：

metrics.reporter.jmx.factory.class: org.apache.flink.metrics.jmx.JMXReporterFactory
metrics.reporter.jmx.port: 8789

那我应该用 start-cluster.sh 脚本运行 flink 应用程序，然后呢？这些指标存储在哪里？

在the same docscommittedOffsets 和 currentOffsets 中为 Kafka 指定。我相信消费者滞后被定义为committedOffsets - currentOffsets 与否？还有更多指标here（例如，记录滞后平均）和it is stated，这些指标也被公开。任何人都可以为我提供分步指南吗？我有点迷茫

【问题讨论】：

标签： java apache-kafka apache-flink kafka-consumer-api lag

【解决方案1】：

我会使用Prometheus JMX exporter

根据您的环境设置，为 Prometheus 和 Grafana 使用 docker 映像或 Kubernetes Helm 图表。

有一个为 Apache Kafka 指标预配置的开源 grafana 仪表板。

【讨论】：