RAM 在 google colab 中崩溃

Question

我正在研究用于机器学习/深度学习技术的图像数据集。目前，我的图像数据大小为 20 GB。 google colab 最大提供 25GB RAM。因此，google colab 每次都在崩溃。请注意，我需要应用像 PCA 这样的降维技术，它要求所有数据一次都存在于 RAM 中。否则我本可以考虑将训练数据分成更小的部分。

如何获得更多 RAM 或任何其他技术来处理此问题？有人可以帮忙吗？

Answer 1

我认为您可以将数据下载到本地并使用this example中显示的tf.keras.preprocessing.image.ImageDataGenerator。

根据本地文件夹的路径更新示例中的base_dir。 ImageDataGenerator 所做的是，它一次只加载几个图像（您可以设置数字，称为batch_size）并处理它们。请查看示例以获取更多详细信息。