如何在 Google Colab 中高效使用 GPU RAM？答案

【问题标题】：How to Use GPU RAM in Google Colab efficiently?如何在 Google Colab 中高效使用 GPU RAM？
【发布时间】：2020-04-14 18:57:41
【问题描述】：

我正在设计一个multi_label_image_Classifier。为此，我需要加载大约 7867 个的 train_images。在我加载图像时，RAM 使用量从 0.92 GB 增加到 12.5 GB。

加载后，当我将图像装入 numpy 数组时，RAM 使用总可用大小，即 25.54 GB，并且代码停止执行并出现错误“您的会话已崩溃”。

我正在使用的示例代码

train_images= []
for i in tqdm(range(train.shape[0)):
    img = image.load_img(
        '/content/Multi_Label_dataset/Images/'+train['Id'][i]+'.jpg',
        target_size=(400,400,3)
        )
    img = image.img_to_array(img)
    img = img/255
    train_image.append(img)

上述内存使用量为 12.52 GB

X= np.array(train_image)

执行此行时，RAM 使用量变为红色并弹出“Session Crashed Message”。

如何处理？？？

【问题讨论】：

标签： tensorflow machine-learning gpu google-colaboratory multilabel-classification

【解决方案1】：

您的数据集太大，无法一次全部加载到 RAM 中。这是使用图像数据集时的常见情况。除了数据集，RAM 还需要保存模型、其他变量和额外的处理空间。

为了帮助加载，您可以使用data_generators() 和flow_from_directory()。这些方法在 Keras 中可用，请查看documentation。

data_generator() 负责所有图像预处理，例如整形和标准化。 flow_from_directory() 将帮助您解决内存问题。它从指定目录动态加载一批图像，并在应用预处理技术后将它们传递给模型。

【讨论】：