在 Keras 中加入两个 DirectoryIterator

Question

假设我有如下内容：

image_data_generator = ImageDataGenerator(rescale=1./255)

train_generator = image_data_generator.flow_from_directory(
  'my_directory',
  target_size=(28, 28),
  batch_size=32,
  class_mode='categorical'
)

然后我的train_generator 填充了来自my_directory 的数据，其中包含两个子文件夹，将数据分为0 和1 类。

假设我还有另一个目录that_directory，数据也分为0 和1 类。我想用这些额外的数据来扩充我的train_generator。

运行train_generator = image_data_generator.flow_from_directory('that_directory', ...) 会从my_directory 中删除先前的数据。

有没有办法在不改变文件夹结构本身的情况下将两组数据扩充或附加到一个生成器或像DirectoryIterator 一样运行的对象中？

Answer 1

只需将生成器组合到另一个生成器中，可以选择使用不同的增强配置：

idg1 = ImageDataGenerator(**idg1_configs)
idg2 = ImageDataGenerator(**idg2_configs)

g1 = idg1.flow_from_directory('idg1_dir',...)
g2 = idg2.flow_from_directory('idg2_dir',...)

def combine_gen(*gens):
    while True:
        for g in gens:
            yield next(g)

# ...
model.fit_generator(combine_gen(g1, g2), steps_per_epoch=len(g1)+len(g2), ...)

这将交替从g1 和g2 生成批次。

请注意，有人可能会建议使用itertools.chain，但是您不能在这里使用它，因为ImageDataGenerators 生成器是永无止境的，并且会不断生成一批数据。这对于您传递给 fit_generator 方法的生成器是预期的。来自Keras doc：

...生成器将无限期地循环其数据。当模型看到steps_per_epoch 批次时，一个纪元结束。

steps_per_epoch 如果未设置，则默认为len(generator)，其中generator 是您传递给fit_generator 方法的生成器。 ImageDataGenerator 生成器可以给出它们的长度，因此您不需要手动设置 steps_per_epoch 参数。如果您希望使用上述组合生成器实现相同的功能，则可以改用此解决方案：

class CombinedGen():
    def __init__(self, *gens):
        self.gens = gens

    def generate(self):
        while True:
            for g in self.gens:
                yield next(g)

    def __len__(self):
        return sum([len(g) for g in self.gens])

# usage:
cg = CombinedGen(g1, g2)
model.fit_generator(cg.generate(), ...) # no need to set `steps_per_epoch`

如果您有兴趣直接迭代此类的对象（而不是迭代 cg.generate()），还可以将 __next__ 和/或 __iter__ 方法添加到 CombinedGen 类。