通过 stackdriver 的 Kubernetes pod 重启警报答案

【问题标题】：Kubernetes pod restart alert via stackdriver通过 stackdriver 的 Kubernetes pod 重启警报
【发布时间】：2019-11-06 16:11:47
【问题描述】：

我有一个基于堆栈驱动程序日志的指标跟踪 GKE pod 重启。

如果警报数量超出预定义阈值，我想通过电子邮件发出警报。

我不确定需要设置哪些阈值才能通过堆栈驱动程序触发警报。我通过已部署的服务拥有三个 pod。

【问题讨论】：

【解决方案1】：

您应该使用日志查看器并创建一个过滤器：

作为资源，您应该选择GKE Cluster Operations 并添加过滤器。

过滤器可能如下所示：

resource.type="k8s_cluster"
resource.labels.cluster_name="<CLUSTER_NAME>"
resource.labels.location="<CLUSTR_LOCATION>"
jsonPayload.reason="Killing"

然后点击Create metric按钮创建一个自定义指标。

然后您可以通过单击Logs-based metrics 中创建的指标来Create alert from metric。

然后为触发器、条件和阈值设置配置。

至于正确的阈值，我会取过去时间段的平均重启次数，并使其更多用于警报。

【讨论】：

【解决方案2】：

GKE 已经向 Stackdriver 发送了一个名为：container/restart_count 的指标。您只需要按照Managing alerting policies 中的说明创建警报策略。根据official doc，该指标公开：

容器重启的次数。每 60 秒采样一次。

【讨论】：