带有 Tensorflow 的 Keras：根据需要使用内存 [ResourceExhaustedError]

Question

所以我试图用多个数据集来维护我的 CNN，当我添加足够的数据时（例如，当我将多个集合作为一个集合添加时，或者当我尝试添加具有超过一百万个样本的集合时）它会接缝抛出ResourceExhaustedError。

至于here的说明，我尝试添加

from keras.backend.tensorflow_backend import set_session
import tensorflow as tf
config = tf.ConfigProto()
config.gpu_options.per_process_gpu_memory_fraction = 0.3
set_session(tf.Session(config=config))

我的代码，但这并没有什么不同。 我在打印出config.gpu_options.per_process_gpu_memory_fraction 后看到 0.3，所以部分接缝没问题。

我什至投了一个config.gpu_options.allow_growth = True 以获得良好的测量结果，但它并不想做任何事情，只是尝试一次使用所有内存，却发现这还不够。

我试图用来训练这个 CNN 的计算机有 4 个 GTX1080 Ti，每个都有 12gb 的专用内存。

编辑：我很抱歉没有说明我是如何加载数据的，老实说，我没有意识到有不止一种方法。在我学习的时候，他们总是有加载已经内置的数据集的示例，我花了一段时间才意识到如何加载自提供的数据集。

我这样做的方式是创建两个 numpy 数组。一个具有路径或每个图像，另一个具有相应的标签。这是最基本的例子：

data_dir = "folder_name"

# There is a folder for every form and in that folder is every line of that form
for filename in glob.glob(os.path.join(data_dir, '*', '*')):

    # the format for file names are: "{author id}-{form id}-{line number}.png"
    # filename is a path to the file so .split('\\')[-1] get's the raw file name without the path and .split('-')[0] get's the author id
    authors.append(filename.split('\\')[-1].split('-')[0])
    files.append(filename)

#keras requires numpy arrays 
img_files  = np.asarray(files)
img_targets = np.asarray(authors)

Answer 1

你确定你用的不是巨型batch_size？

“添加数据”：老实说，我不知道这是什么意思，如果你能用代码准确描述你在这里做什么，那会有所帮助。

样本数量根本不会对 GPU 内存造成任何问题。导致问题的是大batch_size。

加载庞大的数据集可能会导致 CPU RAM 问题，与 keras/tensorflow 无关。 numpy 数组太大的问题。 （您可以通过“不创建任何模型”简单地加载数据来测试它）

如果这是您的问题，您应该使用generator 逐步加载批次。同样，由于您的问题中绝对没有代码，我们无能为力。

但这是简单地为图像创建生成器的两种形式：

• 使用现有的ImageDataGenerator 和flow_from_directory() 方法，explained here
• 创建您自己的编码生成器，它可以是：
  • 带有yield的循环
  • 派生自keras.utils.Sequence的类

循环生成器的简单示例：

def imageBatchGenerator(imageFiles, imageLabels, batch_size):
    while True:
        batches = len(imageFiles) // batch_size
        if len(imageFiles) % batch_size > 0:
            batches += 1

        for b in range(batches):
            start = b * batch_size
            end = (b+1) * batch_size

            images = loadTheseImagesIntoNumpy(imageFiles[start:end])
            labels = imageLabels[start:end]

            yield images,labels

警告：即使使用生成器，您也必须确保批量大小不要太大！

使用它：

model.fit_generator(imageBatchGenerator(files,labels,batchSize), steps_per_epoch = theNumberOfBatches, epochs= ....)

在 GPU 之间划分模型

您应该能够决定哪个层由哪个 GPU 处理，这“可以”优化您的 RAM 使用率。

例如，创建模型时：

with tf.device('/gpu:0'):
    createLayersThatGoIntoGPU0

with tf.device('/gpu:1'):
    createLayersThatGoIntoGPU1

#you will probably need to go back to a previous GPU, as you must define your layers in a proper sequence
with tf.device('/cpu:0'):
    createMoreLayersForGPU0

#and so on

我不确定这是否会更好，但也值得尝试。

在此处查看更多详细信息：https://keras.io/getting-started/faq/#how-can-i-run-a-keras-model-on-multiple-gpus

Answer 2

ResourceExhaustedError 被引发是因为您尝试分配的内存比 GPU 或主内存中的可用内存多。内存分配大约等于您的网络占用空间（要估计这一点，请保存检查点并查看文件大小）加上您的批量大小乘以数据集单个元素的大小。

如果没有有关您的设置的更多信息，很难直接回答您的问题，但这个问题的一个元素引起了我的注意：您说当您“添加足够的数据”或“使用大足够的数据集。”这很奇怪。请注意，数据集的大小不包括在内存分配占用的计算中。因此，数据集的大小应该无关紧要。既然如此，这似乎意味着您正试图以某种方式将整个数据集加载到 GPU 内存或主内存中。如果你这样做，那就是你问题的根源。要修复它，请使用 TensorFlow Dataset API。使用Dataset 通过将数据隐藏在Iterator 后面来回避这种有限的内存资源，该Iterator 仅在调用时产生批次。或者，您可以使用较旧的 feed_dict 和 QueueRunner 数据馈送结构，但我不推荐它。你可以找到这个here 的一些例子。

如果您已经在使用 Dataset API，您需要发布更多代码作为对您问题的修改，以便我们为您提供帮助。

Answer 3

没有任何设置可以神奇地让您拥有比 GPU 更多的内存。在我看来，您的输入太大以适合 GPU RAM（以及所有必需的状态和梯度）。 您应该使用config.gpu_options.allow_growth = True，但不是为了获得更多内存，只是为了了解每个输入长度需要多少内存。从较小的长度开始，查看nvidia-smi 您的 GPU 占用多少 RAM，然后增加长度。一遍又一遍地这样做，直到您了解 GPU 可以容纳的最大输入长度（批量大小）是多少。