【问题标题】:Keras - Load images from generator into memoryKeras - 将图像从生成器加载到内存中
【发布时间】:2018-12-13 05:18:45
【问题描述】:

我想利用 keras ImageDataGenerator 提供的图像增强选项将我的图像加载到内存中。因此,我正在创建我的生成器:

testgen = ImageDataGenerator(preprocessing_function=keras.applications.mobilenet.preprocess_input)

test_generator = testgen.flow_from_dataframe(dataframe=df_test, 
                                             classes=class_labels, 
                                             directory=data_dir,
                                             x_col=training_on, 
                                             y_col=target, 
                                             has_ext=True, 
                                             class_mode="categorical", 
                                             target_size=(224,224), 
                                             batch_size=batch_size,
                                             seed = 1,
                                             shuffle=False)

现在我可以使用:

x,y = next(test_generator)

但是,我想将整个数据集(可能已扩充)存储到 x 和 y 中。我怎样才能做到这一点?

【问题讨论】:

    标签: python tensorflow keras


    【解决方案1】:
    xTrain = list()
    yTrain = list()
    for i in range(len(test_generator)):
        x,y = test_generator[i] 
        xTrain.append(x)
        yTrain.append(y)
    
    xTrain = np.array(xTrain)
    yTrain = np.array(yTrain)
    

    替代方案:

    xTrain = list()
    yTrain = list()
    for i in range(number_of_batches):
        x,y = next(test_generator)
        xTrain.append(x)
        yTrain.append(y)
    
    xTrain = np.array(xTrain)
    yTrain = np.array(yTrain)
    

    请注意,这不会导致显着增强。您最终将得到与原始数据相同数量的样本。

    要使增强功能真正发挥作用,您需要使用此生成器反复训练,以便它生成相同图像的许多不同随机版本。

    【讨论】:

    • 非常感谢!还要感谢您对增强量的评论。我想知道是否有可能(甚至有意义)在训练期间使用带有 .flow 参数的第二个 ImageDataGenerator 来增强(xTrain,yTrain)。那么我当然不会在第一次加载时增加 xTrain、yTrain。这有效吗?还是会在训练期间造成麻烦?
    • 您可以使用任意数量的生成器。但是对于增强,只有一个就足够了。第二个周期与第一个周期不同。
    猜你喜欢
    • 2021-12-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多