如果我使用 VRAM 不足的显卡训练大型深度学习模型会怎样？

【问题标题】：What happens if I train a large deep learning model using a graphics card with insufficient VRAM?如果我使用 VRAM 不足的显卡训练大型深度学习模型会怎样？
【发布时间】：2021-02-07 09:46:01
【问题描述】：

这只是一个一般问题，而不是具体问题。

对于即将到来的学校作业，我需要使用 OpenCV。根据教授的说法，OpenCV 模型最多可以占用 8GB 内存，但我的显卡（GTX 960）只有 2GB 显存。如果我尝试训练大于 2GB 的模型会发生什么？ TensorFlow 可以利用我的 CPU 内存来存储模型吗？

【问题讨论】：

标签： tensorflow gpu hardware

【解决方案1】：

CV2 通常用于对图像进行一些处理，例如读取图像或调整图像大小。该模型独立于 cv2，除非 cv2 用于输入和预处理图像并将它们准备为模型的输入。您将使用的内存量取决于图像大小和您构建的模型。为了避免需要大量内存，您通常不希望将所有图像一次放入内存，而是分批处理它们。 Keras 提供了许多方法来做到这一点。相关文档位于 here.

【讨论】：