“model.fit_generator”中使用的参数“max_q_size”是什么？答案

【问题标题】：What is the parameter "max_q_size" used for in "model.fit_generator"?“model.fit_generator”中使用的参数“max_q_size”是什么？
【发布时间】：2016-08-27 11:26:04
【问题描述】：

我构建了一个简单的生成器，它生成一个 tuple(inputs, targets)，在 inputs 和 targets 列表中只有单个项目。基本上，它是爬取数据集，一次一个样本项。

我将这个生成器传递给：

  model.fit_generator(my_generator(),
                      nb_epoch=10,
                      samples_per_epoch=1,
                      max_q_size=1  # defaults to 10
                      )

我明白了：

nb_epoch 是训练批次将运行的次数
samples_per_epoch 是每个 epoch 训练的样本数

但是max_q_size 是什么意思，为什么它会默认为 10？我认为使用生成器的目的是将数据集批处理成合理的块，那么为什么要额外的队列呢？

【问题讨论】：

标签： python machine-learning generator keras

【解决方案1】：

这只是定义了用于从生成器“预缓存”样本的内部训练队列的最大大小。它在队列的生成过程中使用

def generator_queue(generator, max_q_size=10,
                    wait_time=0.05, nb_worker=1):
    '''Builds a threading queue out of a data generator.
    Used in `fit_generator`, `evaluate_generator`, `predict_generator`.
    '''
    q = queue.Queue()
    _stop = threading.Event()

    def data_generator_task():
        while not _stop.is_set():
            try:
                if q.qsize() < max_q_size:
                    try:
                        generator_output = next(generator)
                    except ValueError:
                        continue
                    q.put(generator_output)
                else:
                    time.sleep(wait_time)
            except Exception:
                _stop.set()
                raise

    generator_threads = [threading.Thread(target=data_generator_task)
                         for _ in range(nb_worker)]

    for thread in generator_threads:
        thread.daemon = True
        thread.start()

    return q, _stop

换句话说，你有一个线程直接从你的生成器填充队列，达到给定的最大容量，而（例如）训练例程消耗它的元素（有时等待完成）

 while samples_seen < samples_per_epoch:
     generator_output = None
     while not _stop.is_set():
         if not data_gen_queue.empty():
             generator_output = data_gen_queue.get()
             break
         else:
             time.sleep(wait_time)

为什么默认为 10？没有特别的原因，就像大多数默认值一样 - 这很有意义，但您也可以使用不同的值。

这样的构造表明，作者考虑了昂贵的数据生成器，这可能需要时间来执行。例如，考虑在生成器调用中通过网络下载数据 - 那么为了提高效率和对网络错误等具有鲁棒性，预缓存一些下一批并并行下载下一批是有意义的。

【讨论】：

啊，我明白了，所以理想情况下，你永远不会在等待生成器生成结果时停止训练——你有一个线程在后面静默地填充队列，而模型正在训练先前获取的数据样本。
是的，这是一个完美的场景。这显然取决于队列的大小和整体系统设计。

【解决方案2】：

您可能需要注意将 max_q_size 与 fit_generator 结合使用。实际上，您在生成器函数中声明和使用的批量大小将被视为单个输入，事实并非如此。

因此，批量大小为 1000 个图像，max_q_size 为 2000 将导致实际的 max_q_size 为 2000x1000 = 2,000,000 个图像，这不利于您的记忆。

这就是为什么有时 Keras 模型在训练过程崩溃之前永远不会停止在内存中增加的原因

【讨论】：