在 Datadog 中读取 Flink 延迟跟踪指标答案

【问题标题】：Read Flink latency tracking metric in Datadog在 Datadog 中读取 Flink 延迟跟踪指标
【发布时间】：2021-08-25 06:37:43
【问题描述】：

我正在关注这个文档https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/ops/metrics/#end-to-end-latency-tracking 并在 flink-conf.yaml 中启用了 metrics.latency.interval，如下所示：

metrics.latency.interval: 60000
metrics.latency.granularity: operator

现在，我有以下问题：

我怎么知道启用了哪种指标（指标名称列表）？我在指标 UI 中没有找到任何内容。
Datadog 是我的记者，延迟指标是否会像 https://docs.datadoghq.com/integrations/flink/#data-collected 此处列出的其他系统指标一样发送到 Datadog？如果是，他们叫什么名字？如果没有，我需要做些什么才能让它们进入 Datadog？

我是 Flink 和 Datadog 的新手。非常感谢！

【问题讨论】：

标签： apache-flink flink-streaming datadog

【解决方案1】：

您可以通过 rest api 集成访问这些指标：

http://{job_manager_address}:8081/jobs/{job_id}/metrics

将返回：

[
  {
    "id": "latency.source_id.3d28eee20f19966ad0843c8183e96045.operator_id.9c9bbdbebfd61a4aaac39e2c417a4f21.operator_subtask_index.7.latency_min"
  },
  {
    "id": "latency.source_id.bca0e5ddee87a6f64a26077804c63e69.operator_id.197249262ed30764bb323b65405e10b4.operator_subtask_index.14.latency_p75"
  },
  {
    "id": "latency.source_id.bca0e5ddee87a6f64a26077804c63e69.operator_id.b9d4ed4c91fec482427d3584100b1c90.operator_subtask_index.12.latency_median"
  },
]

这意味着从 source_id 3d28eee20... 到具有子任务索引 7 的 operator_id 9c9bbdbe 的延迟。

但是我不知道latency_p75 or latency_min 的确切含义。也许其他人可以帮助我们俩。

【讨论】：

【解决方案2】：

@monstero 解释了在哪里可以找到延迟指标——它们是作业指标。

延迟指标是直方图指标。例如，latency_p75 是第 75 个百分位的延迟，这意味着 75% 的时间延迟小于报告的值。

总之，您可以访问最小值、最大值、平均值、中位数、标准差、p75、p90、p95、p98、p99 和 p999。

【讨论】：

嗨@DavidAnderson，我很困惑 => “.. 75% 延迟，这意味着 75% 的时间延迟小于报告的值。”这些指标返回 json 对象 {id:"latency.source...", value:"251"}。根据您所说，只有 25% 的收集到的指标花费的时间超过 251（毫秒或秒）（那么延迟是 %25 ??）。或者 75% 的收集指标花费的时间超过 251（毫秒或秒）？？
采样以一定时间的批次进行（我相信是 1 秒）。如果一个批次的 p75 值为 251 毫秒，则该批次中 75% 的样本小于 251 毫秒（25% 大于 251 毫秒）。