上游服务IP变化时Kubernetes nginx刷新ip地址

Question

我正在使用 nginx 代理对 kubernetes 集群中 StatefulSets 的多个 Headless 服务的请求。我现在遇到的问题是，每当服务 IP 更改时，nginx 不会将服务端点解析为更新的 IP 地址，但仍使用过时的缓存 IP 地址。我曾尝试在 nginx 配置中使用 proxy_pass 中的变量，但它根本无济于事。既在我的本地集群上，也部署在 AWS EKS 上。这是我的 nginx 配置的 sn-p：

upstream svc-foo {
  server svc-foo:8080;
  keepalive 1024;
}
server {
  resolver 127.0.0.1 [::1]:5353 valid=10s;
  set $foo http://svc-foo;
  location /foo/ {
    proxy_pass $foo; 
    proxy_http_version 1.1;
  }
}

当我更新导致服务 IP 更改的服务时，我预计不会出现停机。感谢您提供任何见解和建议。

Answer 1

最好的方法是在你的 nginx pod 上使用 DNS sidecar，如下所示：

apiVersion: v1
kind: ConfigMap
metadata:
  namespace: issue-795
  name: nginx-config
data:
  nginx.conf: |-
    user  nginx;
    worker_processes  1;

    events {
      worker_connections  4096;  ## Default: 1024
    }

    http {
      server { # php/fastcgi
        listen 80;
        resolver 127.0.0.1:53 ipv6=off valid=10s;
        set $upstream http://backend:8080;
        location / {
              proxy_pass $upstream;
              proxy_http_version 1.1;
         }
      }
    }
---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  namespace: issue-795
  name: proxy
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: proxy
    spec:
      containers:
      - name: nginx
        image: nginx
        ports:
        - containerPort: 80
        volumeMounts:
        - name: nginx-config
          mountPath: /etc/nginx/nginx.conf
          subPath: nginx.conf
      - name: dnsmasq
        image: "janeczku/go-dnsmasq:release-1.0.7"
        args:
          - --listen
          - "127.0.0.1:53"
          - --default-resolver
          - --append-search-domains
      volumes:
      - name: nginx-config
        configMap:
          name: nginx-config
---
apiVersion: v1
kind: Service
metadata:
  namespace: issue-795
  name: backend
spec:
  ports:
  - port: 80
    targetPort: 8080
  clusterIP: None
  selector:
    app: backend
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: backend
  namespace: issue-795
spec:
  serviceName: "backend"
  replicas: 2
  selector:
    matchLabels:
      app: backend
  template:
    metadata:
      labels:
        app: backend
    spec:
      containers:
      - name: echoserver
        image: gcr.io/google_containers/echoserver:1.4
        imagePullPolicy: Always
        ports:
        - containerPort: 8080

Answer 2

我建议在 Kubernetes 上使用 Ingress 资源和 Nginx Ingress Controller。

它的全部目的是在您的 Kubernetes 集群中拥有一个代理，将流量重定向到 ClusterIP 服务。

因此，您只有一个外部 ELB，可将所有流量重定向到您的 Kubernetes 集群。然后入口控制器将流量重定向到不同的服务。

对于更高级的入口控制器，您可以查看Kong Ingress Controller。