使用 CoreOS 的 GCE 上的 Kubernetes 1.0.1 外部负载均衡器答案

【问题标题】：Kubernetes 1.0.1 External Load Balancer on GCE with CoreOS使用 CoreOS 的 GCE 上的 Kubernetes 1.0.1 外部负载均衡器
【发布时间】：2018-02-10 08:13:32
【问题描述】：

使用以前版本的 Kubernetes (0.16.x)，我能够在 GCE 上创建一个基于 CoreOS 的 VM 集群，这些 VM 能够为服务生成外部网络负载平衡器。随着 Kubernetes v1 的发布，此功能所需的配置似乎发生了变化。任何人都可以提供任何建议或指出一些可能帮助我解决此问题的文档的方向吗？

我怀疑问题与 ip/naming 有关，因为我之前使用 kube-register 来处理这个问题，而这个组件似乎不再需要。我当前的配置将毫无问题地创建内部服务负载均衡器，甚至会创建外部服务负载均衡器，但它们只能通过 gcloud UI 查看，并且不会注册或显示在 kubectl 输出中。不幸的是，生成的外部 ips 实际上并没有代理流量。

kube-controller-manager 服务日志如下所示：

Aug 05 12:15:42 europe-west1-b-k8s-master.c.staging-infrastructure.internal hyperkube[1604]: I0805 12:15:42.516360    1604 gce.go:515] Firewall doesn't exist, moving on to deleting target pool.
Aug 05 12:15:42 europe-west1-b-k8s-master.c.staging-infrastructure.internal hyperkube[1604]: E0805 12:15:42.516492    1604 servicecontroller.go:171] Failed to process service delta. Retrying: googleapi: Error 404: The resource 'projects/staging-infrastructure/global/firewalls/k8s-fw-a4db9328c3b6b11e5ab9f42010af0397' was not found, notFound
Aug 05 12:15:42 europe-west1-b-k8s-master.c.staging-infrastructure.internal hyperkube[1604]: I0805 12:15:42.516539    1604 servicecontroller.go:601] Successfully updated 2 out of 2 external load balancers to direct traffic to the updated set of nodes
Aug 05 12:16:07 europe-west1-b-k8s-master.c.staging-infrastructure.internal hyperkube[1604]: E0805 12:16:07.620094    1604 servicecontroller.go:171] Failed to process service delta. Retrying: failed to create external load balancer for service default/autobot-cache-graph: googleapi: Error 400: Invalid value for field 'resource.targetTags[0]': 'europe-west1-b-k8s-node-0.c.staging-infrastructure.int'.  Must be a match of regex '(?:[a-z](?:[-a-z0-9]{0,61}[a-z0-9])?)', invalid
Aug 05 12:16:12 europe-west1-b-k8s-master.c.staging-infrastructure.internal hyperkube[1604]: I0805 12:16:12.804512    1604 servicecontroller.go:275] Deleting old LB for previously uncached service default/autobot-cache-graph whose endpoint &{[{146.148.114.97 }]} doesn't match the service's desired IPs []

这是我正在使用的配置（下载 chmod 等为清楚起见省略）。

在主人身上：

- name: kube-apiserver.service
  command: start
  content: |
    [Unit]
    Description=Kubernetes API Server
    Requires=setup-network-environment.service etcd.service generate-serviceaccount-key.service
    After=setup-network-environment.service etcd.service generate-serviceaccount-key.service
    [Service]
    EnvironmentFile=/etc/network-environment
    ExecStart=/opt/bin/hyperkube apiserver \
    --cloud-provider=gce \
    --service_account_key_file=/opt/bin/kube-serviceaccount.key \
    --service_account_lookup=false \
    --admission_control=NamespaceLifecycle,NamespaceAutoProvision,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota \
    --runtime_config=api/v1 \
    --allow_privileged=true \
    --insecure_bind_address=0.0.0.0 \
    --insecure_port=8080 \
    --kubelet_https=true \
    --secure_port=6443 \
    --service-cluster-ip-range=10.100.0.0/16 \
    --etcd_servers=http://127.0.0.1:2379 \
    --bind-address=${DEFAULT_IPV4} \
    --logtostderr=true
    Restart=always
    RestartSec=10

- name: kube-controller-manager.service
  command: start
  content: |
    [Unit]
    Description=Kubernetes Controller Manager
    Requires=kube-apiserver.service
    After=kube-apiserver.service
    [Service]
    ExecStart=/opt/bin/hyperkube controller-manager \
    --cloud-provider=gce \
    --service_account_private_key_file=/opt/bin/kube-serviceaccount.key \
    --master=127.0.0.1:8080 \
    --logtostderr=true
    Restart=always
    RestartSec=10

- name: kube-scheduler.service
  command: start
  content: |
    [Unit]
    Description=Kubernetes Scheduler
    Requires=kube-apiserver.service
    After=kube-apiserver.service
    [Service]
    ExecStart=/opt/bin/hyperkube scheduler --master=127.0.0.1:8080
    Restart=always
    RestartSec=10

在节点上：

- name: kubelet.service
  command: start
  content: |
    [Unit]
    Description=Kubernetes Kubelet
    Requires=setup-network-environment.service
    After=setup-network-environment.service
    [Service]
    EnvironmentFile=/etc/network-environment
    WorkingDirectory=/root
    ExecStart=/opt/bin/hyperkube kubelet \
    --cloud-provider=gce \
    --address=0.0.0.0 \
    --port=10250 \
    --api_servers=<master_ip>:8080 \
    --allow_privileged=true \
    --logtostderr=true \
    --cadvisor_port=4194 \
    --healthz_bind_address=0.0.0.0 \
    --healthz_port=10248
    Restart=always
    RestartSec=10

- name: kube-proxy.service
  command: start
  content: |
    [Unit]
    Description=Kubernetes Proxy
    Requires=setup-network-environment.service
    After=setup-network-environment.service

    [Service]
    ExecStart=/opt/bin/hyperkube proxy \
    --master=<master_ip>:8080 \
    --logtostderr=true
    Restart=always
    RestartSec=10

在我看来，命名和 ip 不匹配，但我不确定如何调整我的配置来解决。非常感谢任何指导。

【问题讨论】：

标签： google-cloud-platform kubernetes coreos

【解决方案1】：

您是如何在集群中创建节点的？我们已经看到 another instance of this issue 是因为使用的集群引导脚本中的错误未应用预期的节点名称和标签。

如果您按照上面链接的问题的建议使用以下两个命令重新创建集群，则创建负载均衡器应该适合您：

export OS_DISTRIBUTION=coreos
cluster/kube-up.sh

否则，您可能需要等待问题得到解决。

【讨论】：