【问题标题】:Kubeflow pipeline fail to create containerKubeflow 管道无法创建容器
【发布时间】:2021-07-03 10:33:20
【问题描述】:

我正在使用these steps 多通道部署的本地机器上运行 Kubeflow,但是当我尝试运行我的管道时,它卡住了消息 ContainerCreating。当我运行 kubectl describe pod train-pipeline-msmwc-1648946763 -n kubeflow 时,我在描述的事件部分发现了这个:

Events:
  Type     Reason       Age                    From                  Message
  ----     ------       ----                   ----                  -------
  Warning  FailedMount  7m12s (x51 over 120m)  kubelet, kubeflow-vm  Unable to mount volumes for pod "train-pipeline-msmwc-1648946763_kubeflow(45889c06-87cf-4467-8cfa-3673c7633518)": timeout expired waiting for volumes to attach or mount for pod "kubeflow"/"train-pipeline-msmwc-1648946763". list of unmounted volumes=[docker-sock]. list of unattached volumes=[podmetadata docker-sock mlpipeline-minio-artifact pipeline-runner-token-dkvps]
  Warning  FailedMount  2m22s (x67 over 122m)  kubelet, kubeflow-vm  MountVolume.SetUp failed for volume "docker-sock" : hostPath type check failed: /var/run/docker.sock is not a socket file

在我看来,我的部署存在问题,但我是 Kubernetes 新手,不知道我现在应该做什么。关于如何解决这个问题的任何想法?我不知道它是否有帮助,但我正在从私有 docker 注册表中提取容器,并且我已经根据 this.

设置了秘密

【问题讨论】:

  • 没有 kubeflow 管道方面的专家,但这看起来与您得到的相似:github.com/kubeflow/pipelines/issues/3407
  • 看起来不错,谢谢!我刚刚检查了一下,好像我没有安装 docker,我现在正在安装并重试
  • @rock'nrolla 是的,就是这样,谢谢 :)
  • 如何在 Azure 中解决此问题?

标签: kubernetes kubeflow


【解决方案1】:

您不需要使用 docker。事实上,问题在于 kubeflow 命名空间中的 workflow-controller-configmap。你可以编辑它

kubectl edit configmap workflow-controller-configmap -n kubeflow

并将containerRuntimeExecutor: docker 更改为containerRuntimeExecutor: pns。您还可以更改一些步骤并将 kubeflow 1.3 安装在 mutlitpass 1.21 而不是 1.15 中。不要使用 kubelfow 插件(至少对我不起作用)。你需要kustomize 3.2 来创建他们在https://github.com/kubeflow/manifests#installation 中提到的清单。

【讨论】:

  • 这是截至 2022 年 2 月的正确答案。 microk8s in snap,通道 1.21/stable + kustomize 3.2.0 + Kubeflow 1.4.1 的清单安装,根据while ! kustomize build example... 的单个命令kubeflow/manifests'README.md + 这个更改对我有用。不过还没有GPU支持,这很遗憾。至少在 Windows/WSL2 上没有。
【解决方案2】:

缺少了一个教程中没有提到的步骤,那就是我必须安装 docker。我已经安装了 docker,重启了机器,现在一切正常。

【讨论】:

    猜你喜欢
    • 2020-09-05
    • 1970-01-01
    • 2020-12-22
    • 2019-10-22
    • 2021-07-31
    • 2021-02-25
    • 1970-01-01
    • 2021-06-14
    • 2023-02-15
    相关资源
    最近更新 更多