使用普罗米修斯联盟的重复指标答案

【问题标题】：Duplicated metrics using prometheus federation使用普罗米修斯联盟的重复指标
【发布时间】：2021-10-08 09:20:38
【问题描述】：

发生了什么？

重复的指标出现在主 prometheus 服务器上：

namespace_workload_pod:kube_pod_owner:relabel{cluster="sample-eks", job="federate", namespace="cert-manager", pod="cert-manager-848f547974-xkg8j", prometheus="monitoring/k8s", prometheus_replica="prometheus-k8s-0", workload="cert-manager", workload_type="deployment"}

namespace_workload_pod:kube_pod_owner:relabel{cluster="sample-eks", namespace="cert-manager", pod="cert-manager-848f547974-xkg8j", workload="cert-manager", workload_type="deployment"}

区别在于额外的job、prometheus 和prometheus_replica 标签。

您是否希望看到一些不同的东西？

没有重复的指标。

如何重现它（尽可能最小和精确）：

在不同的集群上安装两个 kube-prometheus 堆栈：

一个主要的
一个孩子

主集群将使用 /federate 端点从子集群获取数据。

联合配置：

- job_name: 'federate'
  scrape_interval: 15s
  honor_labels: true
  metrics_path: '/federate'
  params:
    'match[]':
      - '{job=~".*"}'      
  static_configs:
  - targets:
    - 'prometheus-sample.dev.xyz.com'

环境

我在 AWS EKS 1.21 上使用 kube-prometheus repo 的最后一个 git 标签。

普罗米修斯日志：

level=warn ts=2021-10-01T15:04:21.300Z caller=scrape.go:1399 component="scrape manager" scrape_pool=federate target="http://prometheus-sample.dev.oryxlabs.com:80/federate?match%5B%5D=%7Bjob%3D~%22.%2A%22%7D" msg="Error on ingesting samples with different value but same timestamp" num_dropped=20

【问题讨论】：

标签： prometheus

【解决方案1】：

这里最好的选择是使用选项replicaExternalLabelName: ""部署所有prometheus服务器

【讨论】：