Prometheus 中的 Prometheus 嵌套警报查询答案

【问题标题】：Prometheus nested alert query in prometheusPrometheus 中的 Prometheus 嵌套警报查询
【发布时间】：2016-11-28 05:45:48
【问题描述】：

可以在 prometheus 警报中添加嵌套查询吗？我正在使用prometheus来监控kubernetes集群。

如果节点已关闭，则会生成警报，但我想配置警报，以便如果任何节点已关闭，那么 prometheus 不应该为在该节点上运行的 pod 和服务发送警报。

类似的，

if(pod_down)
  if(corresponding_node_down)
    //dont send alert
    //node down alert is in firing state

【问题讨论】：

【解决方案1】：

如果一个节点出现故障，那么 Kubernetes 应该会自动处理该问题并将服务转移到其他地方。因此，这样的警报并不是很有用。

我建议您对用户可见的症状（例如高延迟和错误率）发出警报，而不是针对单个原因（例如机器或容器关闭）发出警报。

【讨论】：

我们可以使用以防静音警报不是原因的原因吗？例如：如果我们有 3 个服务 A、B、C -> A 正在调用 B ，B 正在调用 C，但是 C 服务出现问题并且它正在生成错误。所以由于 C、A 和 B 也处于不良状态，显然 prometheus 也会为 A 和 B 生成警报。那么使用我们可以静音 A 和 B 的警报吗？

【解决方案2】：

看看这个 Prometheus Alertmanager 配置。

抑制是在某些其他警报已经触发时抑制某些警报通知的概念。

示例：正在触发通知整个集群不可访问的警报。如果该特定警报正在触发，Alertmanager 可以配置为静音有关此集群的所有其他警报。这可以防止通知数百或数千个与实际问题无关的触发警报。

【讨论】：