Cuda 和 pytorch 内存使用情况答案

【问题标题】：Cuda and pytorch memory usageCuda 和 pytorch 内存使用情况
【发布时间】：2020-02-18 17:06:35
【问题描述】：

我正在使用Cuda 和Pytorch:1.4.0。

当我尝试增加batch_size 时，出现以下错误：

CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 4.00 GiB total capacity; 2.74 GiB already allocated; 7.80 MiB free; 2.96 GiB reserved in total by PyTorch)

我没有发现任何关于 Pytorch 内存使用的信息。

另外，我不明白为什么我只有 7.80 mib 可用？

我应该只使用性能更好的显卡，还是可以释放一些内存？仅供参考，我有一个 GTX 1050 TI，python 3,7 和 torch==1.4.0，我的操作系统是 Windows 10。

【问题讨论】：

请不要将错误信息发布为图片。未来的访问者无法搜索它们

标签： python pytorch

【解决方案1】：

我遇到了同样的问题，以下对我有用：

torch.cuda.empty_cache()
# start training from here

即使在此之后，如果您收到错误，那么您应该减少 batch_size

【讨论】：

作为补充，可以在终端上使用nvidia-smi 命令检查GPU 内存。此外，如果您将张量存储在 GPU 上，您可以使用 tensor.cpu() 将它们移动到 cpu。我使用这些命令解决了我的大部分内存问题。