Helm，Promethus：在 ec2 实例上安装带有数据/默认目录的 prometheus

Question

我正在 Kubernetes 环境中开发 prometheus，我想在其中监控我们的 pod，这些 pod 正准备将指标直接发送到 prometheus。我可以通过 helm install stable/prometheus 命令安装 prometheus，但是 prometheus.yml 抓取文件位于 pod 内，并且在 pod 重启时也不会持久。

由于我们仍在试验中，抓取文件将经过一些迭代，然后我们才能确定它是否适合我们。我坚持使用 helm 的原因是它还安装了其他包，如 grafana、nodeexpoerter 等，这些包很有帮助

如何指示 helm 使用 AWS 上的特定数据目录。假设 /var/prometheus。如果这不可能，那么至少一个自定义 prometheus.yml，在服务器端更新时可以反映在 prometheus pod 中。

到目前为止，至少，我想补充一下

        kubernetes_sd_configs:
          - role: pod
        relabel_configs:
          - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
            action: keep
            regex: true
          - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
            action: replace
            target_label: __metrics_path__
            regex: (.+)
          - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
            action: replace
            regex: ([^:]+)(?::\d+)?;(\d+)
            replacement: $1:$2
            target_label: __address__
          - action: labelmap
            regex: __meta_kubernetes_pod_label_(.+)
          - source_labels: [__meta_kubernetes_namespace]
            action: replace
            target_label: kubernetes_namespace
          - action: labeldrop
            regex: '(kubernetes_pod|app_kubernetes_io_instance|app_kubernetes_io_name|instance)'


This in the scraping file. What am I missing? Thank you. :-) 

Answer 1

回答您的问题：

可以使用hostPath 类型的卷：https://kubernetes.io/docs/concepts/storage/volumes/#hostpath。它可以是单个文件或目录。所以挂载一个 Prometheus 配置目录或只是prometheus.yml。 Related vars for stable Prometheus chart.

解决您的问题：

这里的问题是 Prometheus 不会自动重新加载更新的配置。要解决这个问题，您有两种选择：

• 以 ConfigMap 的形式编写抓取配置，并使用 hash annotation trick 强制对 Prometheus pod 进行滚动更新（考虑重启）。
• 以 ConfigMap 的形式编写抓取配置，并使用内置的reloader from a stable Prometheus chart to handle updates.
• 利用像 kube-prometheus-stack 这样的框架，它们根据 Pod/Service 标签生成抓取配置，并自动将更新的配置重新加载到 Prometheus。