【问题标题】:Flink - how to export flink's kafka connector offsets via JMX Reporter?Flink - 如何通过 JMX Reporter 导出 flink 的 kafka 连接器偏移量?
【发布时间】:2018-12-11 14:00:27
【问题描述】:

根据here,我启用了 JMX Exporter 并能够连接到它以查看一些指标:jobmanager.Status、jobmanager.job。

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 8789

但是,我没有看到 KafkaConnector 的指标(commitedOffets、currentOffsets)。 我该怎么做?

我想从 Flink 中获取这些偏移量来计算

consumer lag = 最新的 kafka 分区偏移量 - flink 分区偏移量。

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    我找到了答案。 flink-conf.yaml 中的 JMX 端口配置应该是一个范围 (9250-9260),而不是 1 个端口号。 Flink 至少需要 2 个端口才能同时导出 JobManager 和 TaskManager 的指标。

    metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
    metrics.reporter.jmx.port: 9250-9260
    

    如果仅指定 1 个端口(问题中的 8789),则仅导出 JobManager 中的指标。 KafkaConnector的metrics属于TaskManager的metrics,所以不会出现。

    【讨论】:

      猜你喜欢
      • 2017-06-14
      • 2017-06-24
      • 2021-04-06
      • 1970-01-01
      • 2016-06-01
      • 1970-01-01
      • 2017-06-27
      • 1970-01-01
      • 2023-03-07
      相关资源
      最近更新 更多