训练和验证精度高，测试精度差

Question

我正在尝试对 2 类图像进行分类。虽然我在 10 个 epoch 后得到了很高的训练和验证准确度 (0.97)，但我的测试结果很糟糕（精度为 0.48），并且混淆矩阵显示网络正在预测错误类别的图像（附加结果）。

数据集中只有 2 个类，每个类有 10,000 个图像示例（增强后）。我正在使用 VGG16 网络。完整的数据集被分割 20% 到测试集（这个分割是通过从每个类中获取随机图像来执行的，因此它被打乱了）。剩余的图像被分成 80% 的训练集和 20% 的有效集（如代码的 ImageDataGenerator 行所示）。所以最后有：

12,904 个属于 2 个类别的训练图像

3,224 个有效图像属于 2 个类别

4,032 个测试图像属于 2 个类别

这是我的代码：

def CNN(CNN='VGG16', choice='predict', prediction='./dataset/Test/image.jpg'):
    ''' Train images using one of several CNNs '''
    Train   = './dataset/Train'
    Tests   = './dataset/Test'
    shape   = (224, 224)
    epochs  = 10
    batches = 16
    classes = []
    for c in os.listdir(Train): classes.append(c)
    IDG = keras.preprocessing.image.ImageDataGenerator(validation_split=0.2)
    train = IDG.flow_from_directory(Train, target_size=shape, color_mode='rgb',
        classes=classes, batch_size=batches, shuffle=True, subset='training')
    valid = IDG.flow_from_directory(Train, target_size=shape, color_mode='rgb',
        classes=classes, batch_size=batches, shuffle=True, subset='validation')
    tests = IDG.flow_from_directory(Tests, target_size=shape, color_mode='rgb',
        classes=classes, batch_size=batches, shuffle=True)
    input_shape = train.image_shape
    if CNN == 'VGG16' or 'vgg16':
        model = VGG16(weights=None, input_shape=input_shape,
            classes=len(classes))
    elif CNN == 'VGG19' or 'vgg19':
        model = VGG19(weights=None, input_shape=input_shape,
            classes=len(classes))
    elif CNN == 'ResNet50' or 'resnet50':
        model = ResNet50(weights=None, input_shape=input_shape,
            classes=len(classes))
    elif CNN == 'DenseNet201' or 'densenet201':
        model = DenseNet201(weights=None, input_shape=input_shape,
            classes=len(classes))
    model.compile(optimizer=keras.optimizers.SGD(
            lr=1e-3,
            decay=1e-6,
            momentum=0.9,
            nesterov=True),
            loss='categorical_crossentropy',
            metrics=['accuracy'])
    Esteps = int(train.samples/train.next()[0].shape[0])
    Vsteps = int(valid.samples/valid.next()[0].shape[0])
    if choice == 'train':
        history= model.fit_generator(train,
            steps_per_epoch=Esteps,
            epochs=epochs,
            validation_data=valid,
            validation_steps=Vsteps,
            verbose=1)
        plt.plot(history.history['loss'])
        plt.plot(history.history['val_loss'])
        plt.title('Model Loss')
        plt.ylabel('Loss')
        plt.xlabel('Epoch')
        plt.legend(['Train', 'Validation'], loc='upper left')
        plt.show()
        plt.plot(history.history['acc'])
        plt.plot(history.history['val_acc'])
        plt.title('Model Accuracy')
        plt.ylabel('Accuracy')
        plt.xlabel('Epoch')
        plt.legend(['Train', 'Validation'], loc='upper left')
        plt.show()
        Y_pred = model.predict_generator(tests, verbose=1)
        y_pred = np.argmax(Y_pred, axis=1)
        matrix = confusion_matrix(tests.classes, y_pred)
        df_cm  = pd.DataFrame(matrix, index=classes, columns=classes)
        plt.figure(figsize=(10,7))
        sn.heatmap(df_cm, annot=True)
        print(classification_report(tests.classes,y_pred,target_names=classes))
        model.save_weights('weights.h5')
    elif choice == 'predict':
        model.load_weights('./weights.h5')
        img = image.load_img(prediction, target_size=shape)
        im = image.img_to_array(img)
        im = np.expand_dims(im, axis=0)
        if CNN == 'VGG16' or 'vgg16':
            im = keras.applications.vgg16.preprocess_input(im)
            prediction = model.predict(im)
            print(prediction)
        elif CNN == 'VGG19' or 'vgg19':
            im = keras.applications.vgg19.preprocess_input(im)
            prediction = model.predict(im)
            print(prediction)
        elif CNN == 'ResNet50' or 'resnet50':
            im = keras.applications.resnet50.preprocess_input(im)
            prediction = model.predict(im)
            print(prediction)
            print(keras.applications.resnet50.decode_predictions(prediction))
        elif CNN == 'DenseNet201' or 'densenet201':
            im = keras.applications.densenet201.preprocess_input(im)
            prediction = model.predict(im)
            print(prediction)
            print(keras.applications.densenet201.decode_predictions(prediction))

CNN(CNN='VGG16', choice='train')

结果：

          precision    recall  f1-score   support
Predator       0.49      0.49      0.49      2016
Omnivore       0.49      0.49      0.49      2016
accuracy       --        --        0.49      4032

我怀疑 ImageDataGenerator() 没有在训练/有效拆分“之前”对图像进行洗牌。如果是这种情况，我如何强制 Keras 中的 ImageDataGenerator 在拆分之前对数据集进行洗牌？

如果洗牌不是这种情况，我该如何解决我的问题？我做错了什么？

Answer 1

所以你的模型基本上是过拟合的，这意味着它正在“记忆”你的训练集。我有几个建议：

1. 检查您的 2 个预测类在您的训练集中是否平衡。 IE。 0 和 1 的 50-50 拆分。例如，如果 90% 的训练数据标记为 0，那么您的模型将简单地将所有内容预测为 0，并在 90% 的时间内正确地进行验证。

2. 如果您的训练数据已经平衡，则意味着您的模型没有泛化。也许您可以尝试使用预训练模型而不是自定义训练 VGG 的每一层？您可以加载 VGG 的预训练权重，但不包括顶部，只训练密集层。

3. 使用交叉验证。重新洗牌每次验证中的数据，看看测试集中的结果是否有所改善。