Prometheus 基于标签过滤 - 错误

Question

我们使用此查询来获取 cpu 指标的 pod/namespace，并使用 kube_pod_labels 根据标签获取 pod 名称。

max(kube_pod_labels{label_workflow_instance_id="$workflow_instance_id", label_workflow_vertex_id=~"$workflow_vertex_id", pod=~".+"}  * on(pod) group_left sum by(pod) (label_replace(node_namespace_pod_container:container_cpu_usage_seconds_total:sum_irate{namespace="pipeline-worker", container_name!="POD"},"pod", "$1", "pod_name", "(.+)")) * on(pod) group_left kube_pod_status_phase{phase="Running"}) by(label_workflow_vertex_id)

能够看到空的查询结果。我们正在 EKS 上建立集群（附上 grafana UI 截图）enter image description here

这里的任何帮助都会高度相关（比如我在这里做错了什么）

Answer 1

在www.asserts.ai，我们使用以下记录规则记录容器CPU Metric

看起来您正在使用 kube_mixin，所以 mixin_pod_workload 的记录规则可能已经存在于您的环境中

sum by (pod, container, namespace, node, job, workload, asserts_env, asserts_site) (
            rate(container_cpu_usage_seconds_total {container != "POD", image != "", container != ""}[5m])
            * on (pod, namespace, asserts_env, asserts_site) group_left(workload)
            mixin_pod_workload
            * on (pod, namespace, asserts_env, asserts_site) group_left()
            group by (pod, namespace, asserts_env, asserts_site) (kube_pod_labels)
          )