【问题标题】:Why does a Kubernetes Ingress create *two* healthchecks by default on its Load Balancers?为什么 Kubernetes Ingress 在其负载均衡器上默认创建 *两个* 健康检查?
【发布时间】:2020-04-20 13:26:26
【问题描述】:

在我创建了一个非常基本的 Ingress(下面的 yaml)之后,没有特殊的健康检查定义(在其他 Kubernetes 对象中也没有),Ingress 创建了一个 GCP 负载均衡器。

为什么这个 LB 针对不同的 nodePorts 定义了两项健康检查(“后端服务”),一项针对根路径 /,一项针对 /healthz?我希望只看到一个。

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: ingress1
spec:
  rules:
  - host: example.com
    http:
      paths:
      - backend:
          serviceName: myservice
          servicePort: 80

【问题讨论】:

  • 当您说健康检查(“后端服务”)时,您的意思是相同的东西?奇怪的是,LB 突然在 /healthz 上创建了一个健康检查。你能分享更多细节吗?
  • 是的,k8s 入口有两个健康检查,它们直接映射到 LB 中的两个后端服务。是的,这很奇怪。什么样的细节可能会有所帮助?
  • 你是否在myservice暴露的pod(s)的定义中定义了livenessProbe?
  • a livenessProbe 由 kubelet 完成,它不会创建外部运行状况检查。

标签: kubernetes google-kubernetes-engine health-monitoring


【解决方案1】:

/健康检查的原因

GKE 入口控制器的限制之一如下:

为了让 GKE 入口控制器使用您的 readinessProbes 作为运行状况检查,Ingress 的 Pod 必须在 Ingress 创建时存在。如果在创建 ingress 时您的副本被缩放到 0 或 Pod 不存在,则使用使用 / 的默认运行状况检查。

由于上述原因,它创建了两次运行状况检查。

从就绪探测到工作的健康检查有很多注意事项:

  • 必须定义 pod 的 containerPort 字段
  • 服务的 targetPort 字段必须指向 Pod 的端口 containerPort 值或名称。请注意,targetPort 默认为 端口值(如果未定义)
  • 创建入口时 pod 必须存在
  • 就绪探针必须暴露在与 在 Ingress 中指定的 servicePort
  • 就绪探针不能有特殊要求,如标头 探测超时被转换为 GCE 健康检查超时

根据上述情况,使用/ 进行默认的后备运行状况检查是有意义的

/healthz 健康检查的原因

根据FAQ,所有 GCE URL 映射都需要至少一个默认后端,该后端处理所有与主机/路径不匹配的请求。在 Ingress 中,默认后端是可选的,因为资源是跨平台的,并非所有平台都需要默认后端。如果您没有在 yaml 中指定一个,GCE 入口控制器将注入在 kube-system 命名空间中运行的 default-http-backend 服务,作为为该入口资源分配的 GCE HTTP lb 的默认后端。

关于默认后端的一些注意事项:

  • 它是唯一不直接映射到用户的后端服务 指定的 NodePort 服务
  • 它在创建第一个 Ingress 时创建,并在创建第一个 Ingress 时删除 最后一个 Ingress 被删除,因为我们不想浪费配额,如果 用户不需要通过 Ingress 进行 L7 负载平衡
  • 它有一个指向 /healthz 的 HTTP 健康检查,而不是默认的 /, 因为 / 按设计提供 404 服务

因此 GKE 入口使用以下 yaml 部署默认后端服务,并为该服务设置 /healthz 健康检查。

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: l7-default-backend
  namespace: kube-system
  labels:
    k8s-app: glbc
    kubernetes.io/name: "GLBC"
    kubernetes.io/cluster-service: "true"
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: glbc
  template:
    metadata:
      labels:
        k8s-app: glbc
        name: glbc
    spec:
      containers:
      - name: default-http-backend
        # Any image is permissible as long as:
        # 1. It serves a 404 page at /
        # 2. It serves 200 on a /healthz endpoint
        image: k8s.gcr.io/defaultbackend-amd64:1.5
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 30
          timeoutSeconds: 5
        ports:
        - containerPort: 8080
        resources:
          limits:
            cpu: 10m
            memory: 20Mi
          requests:
            cpu: 10m
            memory: 20Mi
---
apiVersion: v1
kind: Service
metadata:
  # This must match the --default-backend-service argument of the l7 lb
  # controller and is required because GCE mandates a default backend.
  name: default-http-backend
  namespace: kube-system
  labels:
    k8s-app: glbc
    kubernetes.io/cluster-service: "true"
    kubernetes.io/name: "GLBCDefaultBackend"
spec:
  # The default backend must be of type NodePort.
  type: NodePort
  ports:
  - port: 80
    targetPort: 8080
    protocol: TCP
    name: http
  selector:
    k8s-app: glbc

【讨论】:

  • 谢谢。您能否发送一个有关“如果您的副本缩放到 0 或创建入口时 Pod 不存在...”的链接。我通过以正确的顺序和错误的顺序构建这个简单的入口示例进行了实验,无论哪种方式,健康检查都是针对 /
  • 确保我提到的所有警告都包含在 /healthz 的工作中
  • 谢谢。这就是/ 检查的来源。但是healthz 是从哪里来的呢?它没有出现在我们的任何 k8s yamls 中(也没有任何 healthcheck 或 readinessProbe)。
  • 我的理解是,GKE 入口控制器会自动在谷歌云负载均衡器的 healthz 中创建健康检查,并希望您在 /healthz 的 pod 中配置就绪
猜你喜欢
  • 2021-08-14
  • 2021-04-20
  • 2020-01-12
  • 2013-04-11
  • 1970-01-01
  • 2016-08-05
  • 2019-08-27
  • 2015-08-04
  • 2017-08-02
相关资源
最近更新 更多