【问题标题】：Pod labeling not possible from within pod using Kubernetes on Docker-EE在 Docker-EE 上使用 Kubernetes 无法在 pod 内进行 pod 标记
【发布时间】：2018-07-18 12:49:01
【问题描述】：

我们在 Kubernetes 上使用 Apache-Kafka 部署，它基于在创建 pod 后对其进行标记的能力（请参阅https://github.com/Yolean/kubernetes-kafka）。代理 Pod 的 init 容器利用此功能在其自身上设置一个标签，并以其自己的数字索引（例如“0”、“1”等）作为值。该标签用于服务描述符中以准确选择一个 pod。

这种方法在我们的 DIND-Kubernetes 环境中运行良好。但是，当尝试将部署移植到 Docker-EE Kubernetes 环境时，我们遇到了麻烦，因为命令 kubectl label pod 会生成完全误导的运行时错误（另请参阅 https://github.com/fabric8io/kubernetes-client/issues/853）。

为了验证最小设置中的运行时错误，我们创建了以下部署脚本。

第一步：使用 Docker-EE-Host 成功标记 pod

# create a simple pod as a test target for labeling
> kubectl run -ti -n default --image alpine sh

# get the pod name for all further steps
> kubectl -n default get pods

NAME                                READY     STATUS    RESTARTS   AGE
nfs-provisioner-7d49cdcb4f-8qx95    1/1       Running   1          7d
nginx-deployment-76dcc8c697-ng4kb   1/1       Running   1          7d
nginx-deployment-76dcc8c697-vs24j   1/1       Running   0          20d
sh-777f6db646-hrm65                 1/1       Running   0          3m      <--- This is the test pod
test-76bbdb4654-9wd9t               1/1       Running   2          6d
test4-76dbf847d5-9qck2              1/1       Running   0          5d

# get client and server versions
> kubectl version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.5", 
GitCommit:"32ac1c9073b132b8ba18aa830f46b77dcceb0723", GitTreeState:"clean", 
BuildDate:"2018-06-21T11:46:00Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"8+", GitVersion:"v1.8.11- docker-8d637ae", GitCommit:"8d637aedf46b9c21dde723e29c645b9f27106fa5", 
GitTreeState:"clean", BuildDate:"2018-04-26T16:51:21Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64"}

# set label 
kubectl -n default label pod sh-777f6db646-hrm65 "mylabel=hallo"
pod "sh-777f6db646-hrm65" labeled                   <---- successful execution

一切正常。

第二步：从 pod 内重现运行时错误

创建包含`kubectl`1.10.5的Docker镜像

FROM debian:stretch- 
slim@sha256:ea42520331a55094b90f6f6663211d4f5a62c5781673935fe17a4dfced777029

ENV KUBERNETES_VERSION=1.10.5

RUN set -ex; \
  export DEBIAN_FRONTEND=noninteractive; \
  runDeps='curl ca-certificates procps netcat'; \
  buildDeps=''; \
  apt-get update && apt-get install -y $runDeps $buildDeps --no-install- recommends; \
  rm -rf /var/lib/apt/lists/*; \
  \
  curl -sLS -o k.tar.gz -k https://dl.k8s.io/v${KUBERNETES_VERSION}/kubernetes-client-linux-amd64.tar.gz; \
  tar -xvzf k.tar.gz -C /usr/local/bin/ --strip-components=3 kubernetes/client/bin/kubectl; \
  rm k.tar.gz; \
  \
  apt-get purge -y --auto-remove $buildDeps; \
  rm /var/log/dpkg.log /var/log/apt/*.log

此映像在站点本地注册表中部署为10.100.180.74:5000/test/kubectl-client-1.10.5，将在下面引用。

使用上面的容器创建一个 pod

apiVersion: apps/v1beta2
kind: StatefulSet
metadata:
  name: pod-labeler
  namespace: default
spec:
  selector:
    matchLabels:
      app: pod-labeler
  replicas: 1
  serviceName: pod-labeler
  updateStrategy:
    type: OnDelete
  template:
    metadata:
      labels:
        app: pod-labeler
      annotations:
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: check-version
        image: 10.100.180.74:5000/test/kubectl-client-1.10.5
        env:
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: POD_NAME
          value: sh-777f6db646-hrm65
        command: ["/usr/local/bin/kubectl", "version" ]
      - name: label-pod
        image: 10.100.180.74:5000/test/kubectl-client-1.10.5
        env:
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: POD_NAME
          value: sh-777f6db646-hrm65
        command: ["/bin/bash",  "-c", "/usr/local/bin/kubectl -n default label pod $POD_NAME 'mylabel2=hallo'" ]

日志输出

我们得到以下日志输出

# Log of the container "check-version"
2018-07-18T11:11:10.791011157Z Client Version: version.Info{Major:"1", 
Minor:"10", GitVersion:"v1.10.5", 
GitCommit:"32ac1c9073b132b8ba18aa830f46b77dcceb0723", GitTreeState:"clean", 
BuildDate:"2018-\
06-21T11:46:00Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
2018-07-18T11:11:10.791058997Z Server Version: version.Info{Major:"1", 
Minor:"8+", GitVersion:"v1.8.11-docker-8d637ae", 
GitCommit:"8d637aedf46b9c21dde723e29c645b9f27106fa5", GitTreeState:"clean", 
BuildDate:"2018-04-26T16:51:21Z", GoVersion:"go1.8.3", Compiler:"gc", 
Platform:"linux/amd64"}

和运行时错误

2018-07-18T11:24:15.448695813Z The Pod "sh-777f6db646-hrm65" is invalid: 
spec.tolerations: Forbidden: existing toleration can not be modified except its tolerationSeconds

注意事项

这不是授权问题，因为我们已为默认命名空间的默认用户提供了完整的管理权限。如果我们不这样做，我们会收到一条错误消息，指出缺少权限。
客户端和服务器版本“外部”（例如在 docker 主机上）和“内部”（例如 pod）与 GIT 提交标记相同
我们使用的是通用控制平面 3.0.2 版

有什么想法吗？

【问题讨论】：

您是否尝试过使用 --v=9 后缀运行 kubectl 以确认 pod 和主机上的 kubectl 都在做同样的事情（对 api 的请求相同）。您可以尝试直接调用带有 --v=9 的主机 kubectl 的 api 调用吗？您可以尝试在 docker 容器中使用一些配置和代理吗？版本相同，让我们尝试使授权完全相同，然后从那里开始工作（可能会有一些副作用，例如缺少某些读取权限但未触发正确的错误消息）？
@Const 感谢您的建议。你是对的（见答案），但不幸的是，日志输出不会有帮助。附注：我的一个坏主意是在度假前开始赏金......
很高兴它成功了！感谢您提供详细的答案，因为有（信息量不大）错误它可以帮助以后遇到同样问题的人......

标签： kubernetes docker-ee

【解决方案1】：

在其中一个 cmets 中指出，该问题可能是由于缺少权限引起的，即使错误消息并未暗示如此。我们正式向 Docker 提交了一张票，实际上得到了这样的结果：为了能够在 pod 中设置/修改标签，命名空间的默认用户必须在 swarm 资源上被赋予“调度程序”角色（稍后在 GUI 中显示为 \）。授予此权限可解决问题。请参阅下面的 Docker-EE-GUI 中添加的授权。

在我看来，这远非显而易见。 Docker 支持代表主动提出调查这是否是实际预期的行为或错误的结果。一旦我们了解有关此问题的更多信息，我会将其包含在我们的答案中。

至于使用更多调试输出：不幸的是，将--v=9 添加到kubectl 的调用中不会返回任何有用的信息。这里要显示的输出太多，但两种情况下的整体日志记录非常相似：它由许多 GET API 请求组成，这些请求都成功，然后是最终的 PATCH API 请求，该请求在一种情况下成功，但在另一种情况下失败，因为如上所述。