cudaErrorInsufficientDriver：CUDA 驱动程序版本对于 CUDA 运行时版本不足

Question

我在 GKE 上运行 GPU 实例，当一切都部署好时，我向服务发出请求 上面提到的错误发生 我按照https://cloud.google.com/kubernetes-engine/docs/how-to/gpus#ubuntu 中提到的所有步骤进行操作 这是我的 DockerFile

FROM nvidia/cuda:10.2-cudnn7-devel

# install nginx
# RUN apt-get update && apt-get install nginx vim -y --no-install-recommends
# RUN ln -sf /dev/stdout /var/log/nginx/access.log \
#     && ln -sf /dev/stderr /var/log/nginx/error.log

## Setup 

RUN mkdir -p /opt/app

RUN apt-get update -y && \
    apt-get install -y --no-install-recommends \
    python3-dev \
    python3-pip \
    python3-wheel \
    python3-setuptools && \
    rm -rf /var/lib/apt/lists/* /var/cache/apt/archives/*

RUN pip3 install --no-cache-dir -U install setuptools pip
RUN pip3 install --no-cache-dir cupy_cuda102==8.0.0rc1 scipy optuna

COPY requirements.txt start.sh run.py uwsgi.ini utils.py /opt/app/
COPY shading_characteristics /opt/app/shading_characteristics

WORKDIR /opt/app
RUN pip install -r requirements.txt
RUN pip install --upgrade 'sentry-sdk[flask]'
RUN pip install uwsgi -I --no-cache-dir

EXPOSE 5000

## Start the server, giving permissions for script
# COPY nginx.conf /etc/nginx
RUN chmod +x ./start.sh 
RUN chmod -R 777 /root
CMD ["./start.sh"] 

Answer 1

编辑（2021 年 5 月）

GKE 现已正式支持 NVIDIA 驱动版本450.102.04，支持CUDA 10.2。
请注意，需要 GKE 1.19.8-gke.1200 及更高版本。

---

正如您在 Nvidia 的 website 中看到的，CUDA 10.2 需要 Nvidia 驱动程序版本 >= 440.33。

由于in GKE 官方提供的最新 Nvidia 驱动程序是418.74，因此您目前可以使用的最新CUDA 版本是10.1。

如果您的应用程序或其他依赖项（例如 PyTorch）可以使用 CUDA 10.1 正常运行，最快的解决方案是使用 CUDA 10.1 降级您的基础 Docker 映像。

有unofficial 方法可以在运行 COS 的 GKE 节点上安装更新的 Nvidia 驱动程序版本，但如果您不是必须的 - 我会坚持使用官方支持的 GKE 方法并使用 10.1。