【问题标题】:How to Configure Kubernetes in Hairpin Mode如何在发夹模式下配置 Kubernetes
【发布时间】:2020-07-11 10:01:02
【问题描述】:

我正在尝试在 GKE 上的 Kubernetes 服务上启用发夹连接。

我已尝试按照此处的说明:https://kubernetes.io/docs/tasks/administer-cluster/reconfigure-kubelet/ 配置我的 kubelet 配置以启用发夹模式,但看起来我的配置从未保存,即使编辑命令返回没有错误。

这是我在编辑节点时尝试设置的内容:

spec:
  podCIDR: 10.4.1.0/24
  providerID: gce://staging/us-east4-b/gke-cluster-staging-highmem-f36fb529-cfnv
  configSource:
    configMap:
      name: my-node-config-4kbd7d944d
      namespace: kube-system
      kubeletConfigKey: kubelet

这是我描述时的节点配置

Name:         my-node-config-4kbd7d944d
Namespace:    kube-system
Labels:       <none>
Annotations:  <none>

Data
====
kubelet_config:
----
{
  "kind": "KubeletConfiguration",
  "apiVersion": "kubelet.config.k8s.io/v1beta1",
  "hairpinMode": "hairpin-veth"
}

我已经尝试过使用“编辑节点”和“补丁”。同样的结果是什么都没有保存。补丁返回“未进行任何更改”。

这是教程中的补丁命令:

kubectl patch node ${NODE_NAME} -p "{\"spec\":{\"configSource\":{\"configMap\":{\"name\":\"${CONFIG_MAP_NAME}\",\"namespace\":\"kube-system\",\"kubeletConfigKey\":\"kubelet\"}}}}"

我也找不到任何关于应该设置“hairpinMode”属性的资源。

感谢任何帮助!

----------------- 编辑 ----------------

这就是我认为发夹不起作用的原因。

root@668cb9686f-dzcx8:/app# nslookup tasks-staging.[my-domain].com
Server:     10.0.32.10
Address:    10.0.32.10#53

Non-authoritative answer:
Name:   tasks-staging.[my-domain].com
Address: 34.102.170.43

root@668cb9686f-dzcx8:/app# curl https://[my-domain].com/python/healthz
hello
root@668cb9686f-dzcx8:/app# nslookup my-service.default
Server:     10.0.32.10
Address:    10.0.32.10#53

Name:   my-service.default.svc.cluster.local
Address: 10.0.38.76

root@668cb9686f-dzcx8:/app# curl https://my-service.default.svc.cluster.local/python/healthz
curl: (7) Failed to connect to my-service.default.svc.cluster.local port 443: Connection timed out

如果我从我的服务(不是 curl)向 localhost 发出请求,它会收到“连接被拒绝”。不过,向应该路由到同一个 pod 的外部域发出请求是可以的。

我现在只有一个service,一个node,一个pod,两个监听端口。

--------------------- 包括部署 yaml ----------------- 部署

spec:
  replicas: 1
    spec:
      containers:
      - name: my-app
        ports:
        - containerPort: 8080
        - containerPort: 50001
        readinessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTPS

入口:

apiVersion: extensions/v1beta1
kind: Ingress
spec:
  backend:
    serviceName: my-service
    servicePort: 60000
  rules:
  - http:
      paths:
      - path: /*
        backend:
          serviceName: my-service
          servicePort: 60000
      - path: /python/*
        backend:
          serviceName: my-service
          servicePort: 60001

服务

---
apiVersion: v1
kind: Service
metadata:
  name: my-service
spec:
  ports:
  - name: port
    port: 60000
    targetPort: 8080
  - name: python-port
    port: 60001
    targetPort: 50001
  type: NodePort

我正在尝试设置一个多端口应用程序,其中主程序通过在不同端口上的本地计算机上发出请求来触发脚本运行。 (我需要在 python 中运行一些东西,但主应用程序是在 golang 中。)

这是一个简单的脚本,我想避免将 python 端点暴露给外部域,所以我不必担心身份验证等问题。

-------------- golang中my-service发送的请求-------------

https://[my-domain]/health: success
https://[my-domain]/python/healthz: success
http://my-service.default:60000/healthz: dial tcp: lookup my-service.default on 169.254.169.254:53: no such host 
http://my-service.default/python/healthz: dial tcp: lookup my-service.default on 169.254.169.254:53: no such host 
http://my-service.default:60001/python/healthz: dial tcp: lookup my-service.default on 169.254.169.254:53: no such host 
http://localhost:50001/healthz: dial tcp 127.0.0.1:50001: connect: connection refused 
http://localhost:50001/python/healthz: dial tcp 127.0.0.1:50001: connect: connection refused 

【问题讨论】:

  • 你好。 Hairpinning 无需任何额外配置即可工作。您如何测试得出它不起作用的结论?
  • 所以从 pod 中,我可以 nslookup "[service name].default" 解析到与我的外部地址解析到相同的 IP 地址。我可以查询我的外部地址,但是当我查询 [服务名称] 时,它会超时。我添加了 nslookup+curl 输出。
  • 我在您的测试方法中看到您正在本地尝试curl https://my-service。我认为问题在于您试图通过指定错误端口的服务(clusterIP)连接到 pod。您能否显示该服务的 YAML 暴露此 pod?
  • 哦不!这完全有可能,因为我对 Kubernetes 完全陌生。我也包括了我的 yaml 文件
  • 非常感谢您的帮助@DawidKruk

标签: kubernetes google-kubernetes-engine


【解决方案1】:

GKE 中的 Kubelet 重新配置


您不应在 GKE 等云托管 Kubernetes 集群中重新配置 kubelet。它不受支持,可能会导致错误和失败。

Hairpinning 在GKE


Hairpinning 在GKE 提供的集群中默认启用。您可以通过在GKE 节点之一上调用以下命令来检查它是否已启用:

ifconfig cbr0 |grep PROMISC

输出应该是这样的:

UP BROADCAST RUNNING PROMISC MULTICAST MTU:1460 Metric:1

PROMISC 将指示发夹已启用。

调试服务请参考官方文档:Kubernetes.io: Debug service: a pod fails to reach itself via the service ip

工作量


仅基于您提供的服务定义,您应该可以访问端口 50001 上的 python 应用程序,并通过以下方式托管它:

  • localhost:50001
  • ClusterIP:60001
  • my-service:60001
  • NodeIP:nodeport-port(检查$ kubectl get svc my-service这个端口)

我尝试运行您的Ingress 资源,但未能创建。请检查Ingress 定义的外观。

请查看官方文档,其中通过示例解释了整个部署过程:

另外请查看其他 StackOverflow 答案,例如:

如果您对此有任何疑问,请告诉我。

【讨论】:

  • 嗯,我认为 ingress 应该可以正常工作,因为通过我的外部域进行访问(使用 url 匹配)。 localhost:50001 因“连接被拒绝”而失败,而“my-service:60001”因没有这样的主机而失败。我将这些结果添加到我的帖子中
  • 请调用命令:kubectl get pods,services,ep 并用它更新您的问题。澄清。你有一个 pod 和 2 个应用程序在端口上运行:8080 和 50001?如果是,请执行到它并尝试运行curl localhost:8080 和curl localhost:50001。让我知道结果。之后,请从另一个 pod 执行相同操作,但使用 curl my-service:6000 和 curl my-service:6001。你能说出你卷曲/python/healthz的原因是什么吗?
  • 是的。当我直接从 pod 内部卷曲时,localhost 和 my-service 都按预期工作。我只是使用/python/healthz 路径,因为那是我实现的处理程序。
  • 正如我所说,请调用命令:kubectl get pods,services,ep 并用它更新您的问题。您的服务缺少selector。您究竟是如何将您的应用程序暴露在互联网上的?
  • 我发现了问题,你是对的,它与发夹模式无关。非常感谢您的帮助!
猜你喜欢
  • 1970-01-01
  • 2022-11-04
  • 2018-08-24
  • 2012-12-31
  • 1970-01-01
  • 1970-01-01
  • 2021-07-07
  • 1970-01-01
  • 2015-03-12
相关资源
最近更新 更多