如何结合 datadog io 指标来识别磁盘瓶颈？

Question

我正在尝试在 DataDog 中创建一个警报，当磁盘性能降低我们的机器速度时会提醒我们。

作为业务需求，我会说如果 IO 几乎饱和（超过 90%）超过 30 分钟，则应该触发警报。

以下是当前记录的一组指标： sys.cpu.iowait system.io.avg_q_sz system.io.avg_rq_sz system.io.await system.io.r_await system.io.r_s system.io.rkb_s system.io.rrqm_s system.io.svctm system.io.util system.io.w_await system.io.w_s system.io.wkb_s system.io.wrqm_s

可以使用任何公式来组合这些值，包括 SUM 和 AVG 值。

Answer 1

这些 system.io 指标是从 system agent check 报告的，该 iostat 在后台使用。

根据iostat manpage 的一项指标%util（在Datadog 中报告为system.io.util）似乎可以完成这项工作：

%util：向设备发出 I/O 请求的 CPU 时间百分比（设备的带宽利用率）。当该值接近 100% 时会发生设备饱和。

您可以创建一个监视器，作为主机/设备上的多警报，当此指标在过去 30 分钟内平均超过 90 时，以下是此类示例的当前屏幕截图：

当然，也可以监控其他 iostat 指标来识别其他 I/O 性能故障模式。