如何在 Prometheus 中为磁盘空间配置警报答案

【问题标题】：How to configure alerts in Prometheus for diskspace如何在 Prometheus 中为磁盘空间配置警报
【发布时间】：2018-10-16 20:10:16
【问题描述】：

我们在 Win Server 机器上运行 prometheus，在单独的机器（客户端）上运行 WMI 导出器。能够读取 Prometheus 中的客户端指标。现在的要求是在 Diskspace =>90 % 的时刻，发送电子邮件警报，以便我们可以运行作业以使用自动作业/手动作业清理空间。

请您帮忙配置磁盘空间 >90 的警报

【问题讨论】：

您是在询问一般如何设置警报，还是只需要关于使用什么查询作为警报规则基础的建议？

标签： prometheus prometheus-alertmanager

【解决方案1】：

假设您使用的是 https://github.com/martinlindhe/wmi_exporter/blob/master/docs/collector.logical_disk.md，您可以按照这些思路使用 > 90 % 的使用率

  - alert: DiskSpaceUsage
expr: 100.0 - 100 * (wmi_logical_disk_free_bytes / wmi_logical_disk_size_bytes) > 90
for: 10m
labels:
  severity: high
annotations:
  summary: "Disk Space Usage (instance {{ $labels.instance }})"
  description: "Disk Space on Drive is used more than 90%\n  VALUE = {{ $value }}\n  LABELS: {{ $labels }}"

wmi_exporter repo 上还有其他示例对于默认的 node_exporter 指标（不确定是否适用于 windows）它应该是

- alert: DiskSpace10%Free
     expr: 100 - (100 * node_filesystem_avail_bytes / node_filesystem_size_bytes) > 90
     labels:
       severity: moderate
     annotations:
       summary: "Instance {{ $labels.instance }} is low on disk space"
       description: "diskspace on {{ $labels.instance }} is used over {{ $value }}% ."
´´´

【讨论】：

【解决方案2】：

您可能希望根据它是否会装满而不是根据它的装满程度来发出警报：

- name: node.rules
  rules:
  - alert: DiskWillFillIn4Hours
    expr: predict_linear(node_filesystem_free{job="node"}[1h], 4 * 3600) < 0
    for: 5m
    labels:
      severity: page

https://www.robustperception.io/reduce-noise-from-disk-space-alerts

【讨论】：

使用for: 5m 的良好做法，因为这应该可以避免磁盘使用量激增但趋于平稳的误报，即备份清除/创建

【解决方案3】：

要根据警报发送电子邮件通知，您需要使用 prometheus 设置警报管理器。以下是如何做到这一点的指南：https://github.com/prometheus/alertmanager

您还可以配置警报规则。我正在使用节点导出器来获取节点指标并使用以下规则

- alert: DiskSpace10%Free
     expr: node_exporter:node_filesystem_free:fs_used_percents >= 90
     labels:
       severity: moderate
     annotations:
       summary: "Instance {{ $labels.instance }} is low on disk space"
       description: "{{ $labels.instance }} has only {{ $value }}% free."

您可以根据 WMI 导出器配置上述规则，一切顺利。希望这会有所帮助。

【讨论】：

大概您在这里使用了某种自定义指标node_exporter:node_filesystem_free:fs_used_percents 不是核心指标。你对此没有任何解释。也许你可以？