【问题标题】:Latency Monitoring in Flink applicationFlink 应用中的延迟监控
【发布时间】:2019-06-13 10:55:25
【问题描述】:

我正在寻求有关延迟监控的帮助(flink 1.8.0)。

假设我有一个简单的流数据流,其中包含以下运算符: FlinkKafkaConsumer -> 地图 -> 打印。

如果我想测量数据流中记录处理的延迟,最好的机会是什么? 我想获取源中接收到的处理输入的持续时间,直到它被接收器/完成接收器操作接收。

我添加了我的代码:env.getConfig().setLatencyTrackingInterval(100);

然后,以下延迟指标可用:

但我不明白他们到底在测量什么?此外,在我看来,延迟平均值似乎与延迟无关。

我也尝试使用 codahale 指标来获取某些方法的持续时间,但这并没有帮助我获得在整个管道中处理的记录延迟。

解决方案是否与 LatencyMarker 有关?如果是,我如何在接收器操作中访问它以检索它?

谢谢, 罗伊。

【问题讨论】:

    标签: monitoring apache-flink metrics flink-streaming latency


    【解决方案1】:

    --从邮件列表中复制我的答案以供将来参考

    嗨,罗伊,

    使用延迟跟踪,您将获得 LatencyMarkers 从每个源操作员到每个下游操作员的时间分布(默认情况下,每个非源操作员中每个源操作员有一个直方图,请参阅 metrics.latency.granularity) .

    LatencyMarker 会定期注入源中并流经拓扑。他们无法超越常规记录。 LatencyMarkers 通过函数(用户代码)没有任何延迟。这意味着通过延迟跟踪测量的延迟将仅反映端到端延迟的一部分,特别是在非背压场景中。在背压场景中,延迟标记将在最慢的操作符之前排队(因为它们无法超过记录),并且延迟将更好地反映管道中的真实延迟。在我看来,延迟标记不是衡量 Flink 应用程序中“面向用户/端到端延迟”的正确工具。对我来说,这是一个调试工具,用于查找延迟或拥塞通道的来源。

    我建议您不要使用延迟跟踪,而是自己在接收器运算符中添加一个直方图指标,该指标描述当前处理时间和事件时间之间的差异,以获取源端事件时间延迟的分布。如果您在源(以及任何其他兴趣点)中执行相同操作,您将很好地了解偶数时滞如何随时间变化。

    希望这会有所帮助。

    干杯,

    康斯坦丁

    【讨论】:

      猜你喜欢
      • 2011-07-21
      • 1970-01-01
      • 1970-01-01
      • 2011-09-11
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多