“没有这样的进程”会消耗 GPU 内存

【问题标题】："No Such Process" consumes GPU memory“没有这样的进程”会消耗 GPU 内存
【发布时间】：2022-03-11 11:53:47
【问题描述】：

当我使用nvidia-smi 时，我发现某处缺少近 20GB 的 GPU 内存（列出的进程总数为 17745MB，同时内存使用量为 37739MB）：

然后我用nvitop，你可以看到No Such Process实际上已经占用了我的GPU资源。但是，我不能杀死这个 PID：

>>> sudo kill -9 118238
kill: (118238): No such process

我怎样才能在不干扰其他人的情况下摆脱这个鬼进程？

【问题讨论】：

【解决方案1】：

我在这个答案中找到了解决方案：https://stackoverflow.com/a/59431785/6563277。

首先，我运行 sudo fuser -v /dev/nvidia* 来查看所有进程都在使用我的 GPU RAM，而 nvidia-smi 未能显示出来。

然后，我看到了一些“幽灵”Python 进程。杀死它之后，GPU RAM 就被释放了。

【讨论】：