将高分辨率图像放入 numpy 数组的最佳 ram 高效方法是什么？答案

【问题标题】：What is the best ram-efficient way to put high res images into numpy array?将高分辨率图像放入 numpy 数组的最佳 ram 高效方法是什么？
【发布时间】：2021-12-21 12:11:50
【问题描述】：

我目前正在处理用于GAN 的图像，但我还没有找到ram-efficient way 将30,000 张图像放入Numpy array 以方便使用。任何帮助将不胜感激。

我正在使用的框架：Tensorflow

【问题讨论】：

可能你能做的最好的事情就是从你的磁盘中批量读取它们。我认为没有办法在内存中获取这么大的图像
你能解释一下怎么做吗？
很难用几乎 0 的上下文来解释，你在使用什么库（tensorflow、pytorch 等？？你有所有的图像吗？
你使用的是哪个深度学习框架？
我正在使用张量流

标签： python numpy tensorflow

【解决方案1】：

首先，让我们假设，您有磁盘空间可容纳这 30000 张图像（非常明显）。

剩下的答案应该是“使用批次”。您永远不想将所有 30000 张图像保留在内存中，因为它的空间效率非常低。此外，您必须使用 GPU 训练 GAN。

因此，请将图像保存在驱动器中。使用批处理，每个 mini-batch 少量图像，将其加载到 CPU (RAM)，进行一些预处理，将其移动到 GPU，训练，然后继续。

【讨论】：