Composer 2 和 GKE Autopilot 的 GPU 工作负载？答案

【问题标题】：GPU Workload with Composer 2 and GKE Autopilot?Composer 2 和 GKE Autopilot 的 GPU 工作负载？
【发布时间】：2022-12-07 07:02:02
【问题描述】：

我们有最新版本的 Composer 2：
作曲家-2.0.28-气流-2.3.3

我们的 GKE 版本是：
1.22.12-gke.2300

我们想在 Composer 2 中部署 GPU 工作负载。

我们按照here的记录进行了尝试

apiVersion: v1
kind: Pod
metadata:
  name: my-gpu-pod
spec:
  nodeSelector:
    cloud.google.com/gke-accelerator: nvidia-tesla-t4
  containers:
  - name: my-gpu-container
    image: nvidia/cuda:11.0.3-runtime-ubuntu20.04
    command: ["/bin/bash", "-c", "--"]
    args: ["while true; do sleep 600; done;"]
    resources:
      limits:
        nvidia.com/gpu: 1

但这些例子似乎对我们不起作用。

错误信息是：
Autopilot doesn't support GPUs yet.

文件说：
“确保您有一个运行 GKE 版本 1.24.2-gke.1800 或更高版本的 GKE Autopilot 集群。”

这是否意味着您还不能在当前版本的 Composer 2 中使用 GPU 工作负载？

还是我们打算使用 GKECreateClusterOperator 并设置单独的特殊 GPU 节点池？

在此先感谢您的帮助

【问题讨论】：

对于 Composer 2，您需要等到它添加对 1.24.2-gke.1800 或更高版本的支持才能使用 GPU。当然，你可以手动将底层 Autopilot 集群升级到这个版本并尝试一下。

标签： google-kubernetes-engine google-cloud-composer

【解决方案1】：

在Autopilot GPU docs 的“开始之前”部分：

确保您有一个运行 GKE 版本 1.24.2-gke.1800 或更高版本的 GKE Autopilot 集群。

对我来说，这意味着使用 --release-channel=rapid 标志创建集群。我在尝试就地升级集群时遇到了一个问题，所以决定放弃它，但可能有 a path to upgrade them in place

【讨论】：