Kubernetes v1.12 kubectl exec 的问题答案

【问题标题】：Kubernetes v1.12 Problems with kubectl execKubernetes v1.12 kubectl exec 的问题
【发布时间】：2018-11-20 08:46:18
【问题描述】：

我一直在使用 Kelsey Hightower 出色的 kubernetes-the-hard-way-guide 来了解 Kubernetes。

使用本指南，我在 GCE 上安装了 v1.12。除了 kubectl exec 之外，一切都运行良好：

$ kubectl exec -it shell-demo – /bin/bash --kubeconfig=/root/certsconfigs/admin.kubeconfig
error: unable to upgrade connection: Forbidden (user=kubernetes, verb=create, resource=nodes, subresource=proxy)

注意我设置了KUBECONFIG=/root/certsconfigs/admin.kubeconfig。

除了 exec 之外，所有其他 kubectl 函数都可以按预期使用此 admin.kubeconfig 文件，因此我推断它适用于我的集群。

我很确定我在某个地方犯了一个初学者的错误，但如果有人能建议我离开的地方，我将不胜感激。

TIA

肖恩

我已经仔细检查了我的主控制器上的任何地方都不存在.kube/config 文件：

root@controller-1:/root/deployment/kubernetes# kubectl get pods
NAME READY STATUS
shell-demo 1/1 Running 0 23m

这是 -v8 的输出：

root@controller-1:/root/deployment/kubernetes# kubectl -v8 exec -it shell-demo – /bin/bash
I1118 15:18:16.898428 11117 loader.go:359] Config loaded from file /root/certsconfigs/admin.kubeconfig
I1118 15:18:16.899531 11117 loader.go:359] Config loaded from file /root/certsconfigs/admin.kubeconfig
I1118 15:18:16.900611 11117 loader.go:359] Config loaded from file /root/certsconfigs/admin.kubeconfig
I1118 15:18:16.902851 11117 round_trippers.go:383] GET ://127.0.0.1:6443/api/v1/namespaces/default/pods/shell-demo
I1118 15:18:16.902946 11117 round_trippers.go:390] Request Headers:
I1118 15:18:16.903016 11117 round_trippers.go:393] Accept: application/json, /
I1118 15:18:16.903091 11117 round_trippers.go:393] User-Agent: kubectl/v1.12.0 (linux/amd64) kubernetes/0ed3388
I1118 15:18:16.918699 11117 round_trippers.go:408] Response Status: 200 OK in 15 milliseconds
I1118 15:18:16.918833 11117 round_trippers.go:411] Response Headers:
I1118 15:18:16.918905 11117 round_trippers.go:414] Content-Type: application/json
I1118 15:18:16.918974 11117 round_trippers.go:414] Content-Length: 2176
I1118 15:18:16.919053 11117 round_trippers.go:414] Date: Sun, 18 Nov 2018 15:18:16 GMT
I1118 15:18:16.919218 11117 request.go:942] Response Body: {“kind”:“Pod”,“apiVersion”:“v1”,“metadata”:{“name”:“shell-demo”,“namespace”:“default”,“selfLink”:"/api/v1/namespaces/default/pods/shell-demo",“uid”:“99f320f8-eb42-11e8-a053-42010af0000b”,“resourceVersion”:“13213”,“creationTimestamp”:“2018-11-18T14:59:51Z”},“spec”:{“volumes”:[{“name”:“shared-data”,“emptyDir”:{}},{“name”:“default-token-djprb”,“secret”:{“secretName”:“default-token-djprb”,“defaultMode”:420}}],“containers”:[{“name”:“nginx”,“image”:“nginx”,“resources”:{},“volumeMounts”:[{“name”:“shared-data”,“mountPath”:"/usr/share/nginx/html"},{“name”:“default-token-djprb”,“readOnly”:true,“mountPath”:"/var/run/secrets/kubernetes.io/serviceaccount"}],“terminationMessagePath”:"/dev/termination-log",“terminationMessagePolicy”:“File”,“imagePullPolicy”:“Always”}],“restartPolicy”:“Always”,“terminationGracePeriodSeconds”:30,“dnsPolicy”:“ClusterFirst”,“serviceAccountName”:“default”,“serviceAccount”:“default”,“nodeName”:“worker-1”,“securityContext”:{},“schedulerName”:“default-scheduler”,“tolerations”:[{“key”:"node.kubernet [truncated 1152 chars]
I1118 15:18:16.925240 11117 round_trippers.go:383] POST …
error: unable to upgrade connection: Forbidden (user=kubernetes, verb=create, resource=nodes, subresource=proxy)

【问题讨论】：

您是否尝试将--kubelet-client-certificate 和--kubelet-client-key 标志添加到kube-apiserver，正如@Prafull Ladha 在他的回答中提到的那样？

标签： kubernetes exec kubectl

【解决方案1】：

根据您的日志，kubectl 和 apiserver 之间的连接很好，并且正在正确验证。

为了满足 exec 请求，apiserver 联系运行 pod 的 kubelet，该连接被禁止。

您的 kubelet 已配置为对请求进行身份验证/授权，而 apiserver 凭证无权针对 kubelet 的 API 发出 exec 请求。

根据禁止消息，您的 apiserver 正在向 kubelet 验证为“kubernetes”用户。

您可以使用以下命令授予该用户对 kubelet API 的完全权限：

kubectl create clusterrolebinding apiserver-kubelet-admin --user=kubernetes --clusterrole=system:kubelet-api-admin

有关详细信息，请参阅以下文档

https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet-authentication-authorization/#overview

https://kubernetes.io/docs/reference/access-authn-authz/rbac/#other-component-roles

【讨论】：