【发布时间】:2019-06-13 10:55:25
【问题描述】:
我正在寻求有关延迟监控的帮助(flink 1.8.0)。
假设我有一个简单的流数据流,其中包含以下运算符: FlinkKafkaConsumer -> 地图 -> 打印。
如果我想测量数据流中记录处理的延迟,最好的机会是什么? 我想获取源中接收到的处理输入的持续时间,直到它被接收器/完成接收器操作接收。
我添加了我的代码:env.getConfig().setLatencyTrackingInterval(100);
然后,以下延迟指标可用:
但我不明白他们到底在测量什么?此外,在我看来,延迟平均值似乎与延迟无关。
我也尝试使用 codahale 指标来获取某些方法的持续时间,但这并没有帮助我获得在整个管道中处理的记录延迟。
解决方案是否与 LatencyMarker 有关?如果是,我如何在接收器操作中访问它以检索它?
谢谢, 罗伊。
【问题讨论】:
标签: monitoring apache-flink metrics flink-streaming latency