有没有办法使用 prometheus 监控 kubernetes 中的 tls 证书？

Question

我想使用 Prometheus 在 Kubernetes 中监控我的 tls 证书，并在 grafana 中获取仪表板。我想监控它们的到期时间，并希望在证书将在 30 天内到期时收到警报。我做了很多研究，终于找到了https://github.com/enix/x509-exporter。我该如何使用它？有没有其他有效的方法来监控证书的到期情况？

Answer 1

免责声明：我没有尝试过这个x509-exporter。只是根据我的理解提出建议。

自述文件似乎有点不对劲。您需要做的第一件事是创建一个 github 问题，不用担心我提出了一个 here。

我正在根据我的理解列出步骤并参考usage section。

• 使用他们的official docker image 并将其部署为 k8s 上的部署。
• 检查示例 k8s yaml 文件以创建部署。另请注意，部署 yaml 应挂载存储所有 k8s 证书的主机目录。
• 根据documentation，证书通常位于/etc/kubernetes/pki。
• 部署 yaml 应包含 command，您可以在其中将导出器指向证书所在的目录以及其他必要的选项。像这样

command: ["x509-exporter"]
args: ["-d", "/etc/kubernetes/pki", "-p", "8091", "--debug"]

注意：这里我在 8091 端口上以调试模式运行导出器，记得公开这个端口。

• 在 prometheus 配置中，添加 x509-exporter 端点作为目标，以抓取指标并通过在 Grafana 仪表板中创建图表来绘制这些指标。

Answer 2

另一种方法是使用 helm chart 安装 x509-exporter：https://hub.helm.sh/charts/enix/x509-exporter

在此处查看文档https://github.com/enix/helm-charts/tree/master/charts/x509-exporter。

您可能还会发现以下 prometheus 警报规则很有用（基于 x509-exporter 指标）：

检查 kubernetes-certificate.rules.yml ：

groups:
- name: check-kubernetes-certificate-expiration.rules
  rules:
  - alert: KubernetesCertificateExpiration
    expr: floor((x509_cert_not_after - time()) / 86400) < 90
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: 'Certificate expiration on `{{ $labels.nb_cluster }}`'
      description: 'Certificate `{{ $labels.subject_CN }}` will expire in {{ $value }} days on `{{ $labels.nb_cluster }}`'

  - alert: KubernetesCertificateExpirationCritical
    expr: floor((x509_cert_not_after - time()) / 86400) < 10
    for: 5m
    labels:
      severity: critical
    annotations:
      summary: 'Certificate expiration on `{{ $labels.nb_cluster }}`'
      description: 'Certificate `{{ $labels.subject_CN }}` will expire in {{ $value }} days on `{{ $labels.nb_cluster }}`'

  - alert: KubeletCertificateEmbedded
    expr: x509_cert_not_after{filename="kubelet.conf", embedded_kind="user"}
    for: 5m
    labels:
      severity: warning
    annotations:
      summary: '{{ $labels.instance }}: Embedded certificate in {{ $labels.filename }}'
      description: '{{ $labels.nb_cluster }} has kubelet {{ $labels.subject_CN }} running with an embedded certificate in {{ $labels.filepath }}'

Answer 3

官方prometheus/blackbox_exporter 已经有 ssl 证书到期信息。

 Name: "probe_ssl_earliest_cert_expiry",
 Help: "Returns earliest SSL cert expiry date",

所以你只需要：

1. 为您要监控的域设置 blackbox_exporter 和探测规则。
   您可以查看我的项目kehao95/helm-prometheus-exporter 以通过 helm chart 安装 blackbox_exporter。
2. 配置规则来监控证书过期。

您可以像这样配置您的prometheusRule：（假设您使用的是 prometheus-operator）

rules: 
  - alert: TLS certificate expiring
    expr: (probe_ssl_earliest_cert_expiry - time())/86400 < 45
    labels:
      severity: warning
  - alert: TLS certificate expiring
    expr: (probe_ssl_earliest_cert_expiry - time())/86400 < 30
    labels:
      severity: critical