重置 Kubernetes 集群答案

【问题标题】：Reset Kubernetes cluster重置 Kubernetes 集群
【发布时间】：2019-11-12 23:52:03
【问题描述】：

我的网络中有六台台式机，我想构建两个 Kubernetes 集群。每台机器都安装了 Ubuntu 16.04 LTS。最初，所有机器都是单个集群的一部分。但是，我删除了其中三台机器来设置另一个集群，并在每台机器上执行以下命令：

RESET COMMAND:
sudo kubeadm reset -f && 
 sudo systemctl stop kubelet && 
 sudo systemctl stop docker && 
 sudo rm -rf /var/lib/cni/ && 
 sudo rm -rf /var/lib/kubelet/* && 
 sudo rm -rf /etc/cni/ && 
 sudo ifconfig cni0 down && 
 sudo ifconfig flannel.1 down && 
 sudo ifconfig docker0 down && 
 sudo ip link delete cni0 && 
 sudo ip link delete flannel.1

在此之后，我重新启动了每台机器，并通过设置主节点继续设置新集群：

INSTALL COMMAND:
sudo kubeadm init phase certs all && 
 sudo kubeadm init phase kubeconfig all && 
 sudo kubeadm init phase control-plane all --pod-network-cidr 10.244.0.0/16 &&
 sudo sed -i 's/initialDelaySeconds: [0-9][0-9]/initialDelaySeconds: 240/g' /etc/kubernetes/manifests/kube-apiserver.yaml &&
 sudo sed -i 's/failureThreshold: [0-9]/failureThreshold: 18/g' /etc/kubernetes/manifests/kube-apiserver.yaml &&
 sudo sed -i 's/timeoutSeconds: [0-9][0-9]/timeoutSeconds: 20/g' /etc/kubernetes/manifests/kube-apiserver.yaml &&
 sudo kubeadm init \
   --v=1 \
   --skip-phases=certs,kubeconfig,control-plane \
   --ignore-preflight-errors=all \
   --pod-network-cidr 10.244.0.0/16

之后我还安装了法兰绒。 master安装成功后，我继续使用kubeadm join添加另外两台机器。添加这些机器后，我在主节点上安装了 NGINX-Ingress。

现在，我想重置集群并重新进行此设置。我使用 RESET COMMAND 重置每台机器，然后在主节点上执行 INSTALL 命令。但是，在我运行 INSTALL 命令并运行 kubectl get pods --all-namespaces 之后，我仍然可以看到之前安装的 pod：

NAMESPACE       NAME                              READY   STATUS              RESTARTS   AGE
kube-system     coredns-fb8b8dccf-h5hhk           0/1     ContainerCreating   1          20h
kube-system     coredns-fb8b8dccf-jblmv           0/1     ContainerCreating   1          20h
kube-system     etcd-ubuntu6                      1/1     Running             0          19h
kube-system     kube-apiserver-ubuntu6            1/1     Running             0          76m
kube-system     kube-controller-manager-ubuntu6   0/1     CrashLoopBackOff    7          75m
kube-system     kube-flannel-ds-amd64-4pqq6       1/1     Running             0          20h
kube-system     kube-flannel-ds-amd64-dvfmp       0/1     CrashLoopBackOff    7          20h
kube-system     kube-flannel-ds-amd64-dz9st       1/1     Terminating         0          20h
kube-system     kube-proxy-9vfjx                  1/1     Running             0          20h
kube-system     kube-proxy-q5c86                  1/1     Running             0          20h
kube-system     kube-proxy-zlw4v                  1/1     Running             0          20h
kube-system     kube-scheduler-ubuntu6            1/1     Running             0          76m
nginx-ingress   nginx-ingress-6957586bf6-fg2tt    0/1     Terminating         22         19h

为什么我会看到之前安装的 pod？

【问题讨论】：

我猜你把 etcd 数据留在原地，所以之前的配置又回来了。
我没有使用外部 etcd 安装。只有通过 kubeadm init 安装的内容。是否有我需要删除的文件或需要执行的某些命令？
rm -rf /var/lib/etcd/* 为我工作
stackoverflow.com/a/56825161/4451944

标签： docker kubernetes cluster-computing

【解决方案1】：

所以是的，基本上当您使用 kubeadm 创建单个控制平面集群时 - 您正在安装具有单个控制平面节点的集群，并在其上运行单个 etcd 数据库。

kubeadm 使用的默认 etcd 目录是控制平面节点上的/var/lib/etcd。您应该清理它以避免恢复以前的集群配置。

顺便说一句，k8s 1.15 也有相同的 issue。并且应该是修复 1.15.1 https://github.com/kubernetes/sig-release/blob/3a3c9f92ef484656f0cb4867f32491777d629952/releases/patch-releases.md#115

【讨论】：