为什么洗牌我的训练集和验证集不会带来巨大的性能提升？

Question

我正在使用 Keras 的 ImageDataGenerator 类，将我的样本加载到神经网络中以解决二元分类问题。

没有。 +ve 训练图像 = 5000，-ve 训练图像 = 5000。类似地，+ve 验证图像 = 5000 和 -ve 验证图像 = 5000。我的批量大小是 64。

我的问题是，当我使用以下代码加载数据和训练时，我的准确率徘徊在 65-67% 左右。但是，如果我设置 shuffle = False，它会在 2-3 个 epoch 后徘徊在 98-100% 左右。

为什么会有如此大的性能提升，洗牌是如何发挥作用的？

另外，我注意到，从 flow_from_directory 生成的每个批次都包含完全来自任何一个类的图像。将正样本和负样本放在一个批次中是否有助于更真实地衡量准确性？

# data augmentation configuration we will use for training
train_datagen = ImageDataGenerator(preprocessing_function=HPF)

# data augmentation configuration we will use for testing
test_datagen = ImageDataGenerator(preprocessing_function=HPF)

# generator, for train data
train_generator = train_datagen.flow_from_directory(
        './data/train',  # this is the target directory
        target_size=(512, 512),  # all images will be resized to 512x512
        batch_size=batch_size,
        color_mode='grayscale',
        shuffle=True,
        class_mode='binary')  # since we use binary_crossentropy loss, we need binary labels

# this is a similar generator, for validation data
validation_generator = test_datagen.flow_from_directory(
        './data/validation',
        target_size=(512, 512),
        color_mode='grayscale',
        batch_size=batch_size,
        shuffle=True,
        class_mode='binary')

Shuffle = True 实际上是做什么的？由于每批中的图像仍然要么全部为正面，要么全部为负面。

可以使用以下代码打印批次：

for i in train_generator:
    idx = (train_generator.batch_index - 1) * train_generator.batch_size
    print(train_generator.filenames[idx : idx + train_generator.batch_size])

Answer 1

我认为最可能的原因是训练批次和验证批次之间存在某种关联。例如，当训练批次都是正数时，验证也是如此。您的训练集和验证集具有相同的长度这一事实可能会加剧这种情况：相关性可以在多个时期中存活下来。

无论如何，我宁愿相信随机洗牌获得的性能。任何与这些数字没有改组的显着偏差都表明您的数据存在相关性，并提醒您为什么需要使用随机改组并且如此常用。

编辑

这是您所描述的数据中可能存在的相关性。您的训练和验证集有 10000 张图像。两组中的前 5000 个都是/可能都是正面的。因此，在训练期间，您的网络无论如何都会学会将样本标记为阳性。验证样本也是正面的，所以这很合适。然后，我们对所有负面图像进行训练。然后，无论如何，您都会对样本进行调整并将样本标记为负样本。这也与您的验证样本恰好也是负数相关，并且您最终获得了良好的验证分数。

让自己相信非混洗训练的实际性能很差的一种方法是在整个验证集上进行验证，而不是在单个验证批次上进行验证——正如我假设你正在做的那样。