【问题标题】:Prometheus Operator + New Kubernetes Minikube = DeadMansSwitch + KubeControllerManagerDown + KubeSchedulerDown + TargetDownPrometheus Operator + 新 Kubernetes Minikube = DeadMansSwitch + KubeControllerManagerDown + KubeSchedulerDown + TargetDown
【发布时间】:2019-04-04 19:00:05
【问题描述】:

如果我使用严格的默认设置启动一个全新的干净的空 minikube 和 helm install 最新的 stable/prometheus-operator,我会看到四个活动的 Prometheus 警报。

在这个超级简化的场景中,我有一个干净、新鲜的 minikube,除了 Prometheus 之外什么都没有运行,应该没有问题也没有警报。这些警报是假的还是坏的?我的设置有问题还是我应该提交错误报告并暂时禁用这些警报?

这是我的基本设置步骤:

minikube delete
# Any lower memory/cpu settings will experience problems
minikube start --memory 10240 --cpus 4 --kubernetes-version v1.12.2
eval $(minikube docker-env)
helm init
helm repo update
# wait a minute for Helm Tiller to start up.
helm install --name my-prom stable/prometheus-operator

等待几分钟让一切启动,然后在 Prometheus 服务器和 Grafana 上运行端口转发:

kubectl port-forward service/my-prom-prometheus-operato-prometheus 9090:9090
kubectl port-forward service/my-prom-grafana 8080:80

那就去http://localhost:9090/alerts看看:

DeadMansSwitch (1 active)
KubeControllerManagerDown (1 active)
KubeSchedulerDown (1 active)
TargetDown (1 active)

这些是假的吗?真的有什么不对吗?我应该禁用这些吗?

其中两个警报缺少指标:

  • KubeControllerManagerDown:absent(up{job="kube-controller-manager"} == 1)
  • KubeSchedulerDown:absent(up{job="kube-scheduler"} == 1)

在http://localhost:9090/config 中,我没有看到配置任何作业,但我确实看到与job_name 值default/my-prom-prometheus-operato-kube-controller-manager/0 和default/my-prom-prometheus-operato-kube-scheduler/0 密切相关的作业。这表明job_name 值应该匹配,并且存在它们不匹配的错误。我也看不到任何一项工作的任何收集指标。作业名称中是否允许使用斜线?

另外两个警报:

  • DeadMansSwitch:报警表达式为vector(1)。我不知道这是什么。
  • TargetDown:此警报正在通过 up{job="kubelet"} 触发,该警报具有两个度量值,一个值为 1.0,一个值为 0.0。向上值用于endpoint="http-metrics",向下值用于endpoint="cadvisor"。后一个端点应该启动吗?为什么不呢?

我转到http://localhost:9090/graph 并运行sum(up) by (job) 我看到1.0 的所有值:

{job="node-exporter"}
{job="my-prom-prometheus-operato-prometheus"}
{job="my-prom-prometheus-operato-operator"}
{job="my-prom-prometheus-operato-alertmanager"}
{job="kubelet"}
{job="kube-state-metrics"}
{job="apiserver"}

仅供参考,kubectl version 显示:

Client Version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.2", GitCommit:"17c77c7898218073f14c8d573582e8d2313dc740", GitTreeState:"clean", BuildDate:"2018-10-30T21:39:16Z", GoVersion:"go1.11.1", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"12", GitVersion:"v1.12.2", GitCommit:"17c77c7898218073f14c8d573582e8d2313dc740", GitTreeState:"clean", BuildDate:"2018-10-24T06:43:59Z", GoVersion:"go1.10.4", Compiler:"gc", Platform:"linux/amd64"}

【问题讨论】:

  • 查看此link,其中显示了各种监控警报的运行手册。

标签: kubernetes prometheus minikube prometheus-operator


【解决方案1】:

Watchdog 警报(以前称为 DeadManSwitch)是:

旨在确保整个警报管道正常运行的警报。 此警报始终在触发,因此它应该始终在 Alertmanager 中触发 并且总是对着接收器开火。

在 Minikube 中,kube-controller-manager 和 kube-scheduler 默认在 127.0.0.1 上侦听,因此 Prometheus 无法从中获取指标。您需要启动 Minikube 并使用这些组件侦听所有接口:

minikube start --kubernetes-version v1.12.2 \
--bootstrapper=kubeadm \
--extra-config=scheduler.address=0.0.0.0 \
--extra-config=controller-manager.address=0.0.0.0

TargetDown 的另一个原因是 Prometheus Operator helm chart 创建的默认服务选择器与 Minikube 组件使用的标签不匹配。您需要通过设置kubeControllerManager.selector 和kubeScheduler.selector helm 参数来匹配它们。

看看这篇文章:Trying Prometheus Operator with Helm + Minikube。它解决了所有这些问题,以及如何解决这些问题等等。

【讨论】:

    【解决方案2】:

    DeadManSwitchAlarm 是vector(1),它是一个总是触发的警报,它通常用于测试你的alertmanager 是否工作。

    您可能遇到了这个问题,

    https://github.com/coreos/prometheus-operator/issues/1001

    希望这会有所帮助。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-02-12
      • 1970-01-01
      • 2020-10-08
      • 1970-01-01
      • 2017-12-24
      • 1970-01-01
      相关资源
      最近更新 更多