NVIDIA 驱动程序从内核中消失

Question

我们正在运行标准的 Ubuntu 20 映像，其中安装了 NVIDIA 驱动程序和 nvidia docker。

一切正常。

最终使用 GPU 的 docker 需要更新，然后突然之间，NVIDIA 驱动程序消失了，docker 无法启动 nvidia 运行时并且nvidia-smi 抱怨驱动程序未加载。

...然后我们必须再次下载并重新安装 nvidia 驱动程序。

我想知道内部 GCP 虚拟机是否在不使用时释放 GPU 资源，因为在短时间内不使用 GPU（更新期间），GPU 上没有加载任何内容。

Answer 1

原来是自动更新导致了这个问题。

默认的 GCP 安装假定 GPU 是无人值守更新的一部分，它们是静默安装的，当没有其他东西使用 GPU 时，驱动程序将被推出，需要重新启动或使当前驱动程序崩溃，从而使 GPU 不可用。