对特定主机禁用警报，同时对所有其他主机发出警报

Question

我有数百台主机向 prometheus 服务器报告。我每台主机有很多出口商。我希望能够列出我不想发出警报的主机列表。我仍然需要对这些主机进行 prometheus 监控。

我尝试匹配没有接收器的路线。它不起作用。我究竟做错了什么？或者，我应该怎么做？

我的路线规则。我希望第一个匹配匹配可忽略的实例并停止解析。我仍然收到警报。 :-(

route:
  receiver: 'team-ops-mails'
  group_by: ['alertname', 'cluster']
  group_wait: 30s
  group_interval: 2m
  repeat_interval: 2h 
  routes:
  - match_re:
      instance: "int-pg-01:.*"
    continue: false
  - match:
      nopage: true
    receiver: team-mattermost
    repeat_interval: 24h
  - match:
      severity: hwerror
    receiver: hwerror-receiver
    repeat_interval: 24h
  - match:
      role: worker
    receiver: team-mattermost 
  - match:
      role: ven-entrance
    receiver: team-mattermost 

Answer 1

Alerting rules 允许您根据 prometheus 表达式语言定义更改条件。

示例警报规则：

groups:
- name: example
  rules:
  - alert: HighRequestLatency
    expr: job:request_latency_seconds:mean5m{job="myjob"} > 0.5
    for: 10m
    labels:
      severity: page
    annotations:
      summary: High request latency

解决问题的一种可能方法是，在指标中添加一个额外的标签，例如 enableAlert。在定义警报规则时，您可以通过定义expr 来忽略某些主机的触发警报，如下所示：

- name: example
  rules:
  - alert: DemoAlert
    expr: <metric-name> {... ..., enableAlert = "true"} > ref_value

为那些您不想触发警报的实例设置enableAlert = "false"。