如何在 Azure Kubernetes 服务（启用 GPU）上运行数据科学模型的 docker 映像

Question

如何在 Azure Kubernetes 服务（启用 GPU）上运行数据科学模型的 docker 映像，以便它可以利用 Kubernetes 集群的 GPU 功能。我们用来构建模型的包有tensorflow、keras、scikit-learn等，是否需要在Dockerfile中包含Cuda安装步骤？

还发现下面的错误：

Answer 1

1. 创建具有支持 gpu 的 vm 大小的 aks
2. 安装 nvidia 驱动程序
3. 运行您的工作负载

对于第 2 点，使用以下 yaml：

apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
  name: nvidia-device-plugin-daemonset
  namespace: kube-system
spec:
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      # Mark this pod as a critical add-on; when enabled, the critical add-on scheduler
      # reserves resources for critical add-on pods so that they can be rescheduled after
      # a failure.  This annotation works in tandem with the toleration below.
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ""
      labels:
        name: nvidia-device-plugin-ds
    spec:
      tolerations:
      # Allow this pod to be rescheduled while the node is in "critical add-ons only" mode.
      # This, along with the annotation above marks this pod as a critical add-on.
      - key: CriticalAddonsOnly
        operator: Exists
      - key: nvidia.com/gpu
        operator: Exists
        effect: NoSchedule
      containers:
      - image: nvidia/k8s-device-plugin:1.11
        name: nvidia-device-plugin-ctr
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            drop: ["ALL"]
        volumeMounts:
          - name: device-plugin
            mountPath: /var/lib/kubelet/device-plugins
      volumes:
        - name: device-plugin
          hostPath:
            path: /var/lib/kubelet/device-plugins

关于这个问题的官方文档。你也可以使用these official k8s docs on using GPU。我认为您应该只使用包含 GPU 驱动程序的基础映像，例如，您可以使用 MS 提供的示例映像作为基础，或类似 tensorflow/tensorflow:latest-gpu 的东西。