【问题标题】:Flink - how to export flink's kafka connector offsets via JMX Reporter?Flink - 如何通过 JMX Reporter 导出 flink 的 kafka 连接器偏移量?
【发布时间】:2018-12-11 14:00:27
【问题描述】:
根据here,我启用了 JMX Exporter 并能够连接到它以查看一些指标:jobmanager.Status、jobmanager.job。
metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 8789
但是,我没有看到 KafkaConnector 的指标(commitedOffets、currentOffsets)。 我该怎么做?
我想从 Flink 中获取这些偏移量来计算
consumer lag = 最新的 kafka 分区偏移量 - flink 分区偏移量。
【问题讨论】:
标签:
apache-flink
flink-streaming
【解决方案1】:
我找到了答案。 flink-conf.yaml 中的 JMX 端口配置应该是一个范围 (9250-9260),而不是 1 个端口号。 Flink 至少需要 2 个端口才能同时导出 JobManager 和 TaskManager 的指标。
metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 9250-9260
如果仅指定 1 个端口(问题中的 8789),则仅导出 JobManager 中的指标。 KafkaConnector的metrics属于TaskManager的metrics,所以不会出现。