Keras 使用 model.predict 的准确性错误

Question

我正在将此代码用于 CNN

train_batches = ImageDataGenerator().flow_from_directory('dice_sklearn/train', target_size=(IMG_WIDTH, IMG_HEIGHT),
                                        classes=['1', '2', '3', '4', '5', '6'],
                                        batch_size=cv_opt['batch'],
                                        color_mode="grayscale")

test_batches = ImageDataGenerator().flow_from_directory('dice_sklearn/test', target_size=(IMG_WIDTH, IMG_HEIGHT),
                                       class_mode='categorical',
                                       batch_size=cv_opt['batch'],
                                       shuffle=False)
train_num = len(train_batches)
test_num = len(test_batches)

model = Sequential([
    Conv2D(32, (3, 3), padding='same', activation='relu', input_shape=(IMG_WIDTH, IMG_HEIGHT, 1)),
    Conv2D(32, (3, 3), activation='relu'),
    MaxPooling2D(pool_size=(2, 2)),
    Dropout(0.30),

    Conv2D(64, (3, 3), padding='same', activation='relu'),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D(pool_size=(2, 2)),
    Dropout(0.30),

    Conv2D(64, (3, 3), padding='same', activation='relu'),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D(pool_size=(2, 2)),
    Dropout(0.30),

    Flatten(),
    Dense(512, activation='relu'),
    Dropout(0.5),
    Dense(6, activation='softmax'),

])
print(model.summary())

model.compile(Adam(lr=cv_opt['lr']), loss='categorical_crossentropy', metrics=['accuracy'])
history = model.fit(train_batches, steps_per_epoch=train_num,
                              epochs=cv_opt['epoch'], verbose=2)

model.save('cnn-keras.h5')

test_batches.reset()
prediction = model.predict(test_batches, steps=test_num, verbose=1)
predicted_class = np.argmax(prediction, axis=1)
classes = test_batches.classes[test_batches.index_array]
accuracy = (predicted_class == classes).mean()
print("Final accuracy:", accuracy * 100)

在哪里

• cv_opt['batch'] 设置为 50
• cv_opt['lr'] 设置为 0.0003
• cv_opt['epoch'] 设置为 50

最后一行（last epoch）的训练阶段（使用model.fit）的输出返回：

192/192 [==============================] - 98s 510ms/step - loss: 0.0514 - accuracy: 0.9818 - val_loss: 0.0369 - val_accuracy: 0.9833

但是当我运行这部分代码时：

test_batches.reset()
prediction = model.predict(test_batches, steps=test_num, verbose=1)
predicted_class = np.argmax(prediction, axis=1)
classes = test_batches.classes[test_batches.index_array]
accuracy = (predicted_class == classes).mean()
print("Final accuracy:", accuracy * 100)

我的准确度得分非常低：(0.16)。 但是，如果绘制学习曲线，我可以看到测试/验证曲线（如果在测试或参数调整中）都达到接近 90% 的准确度。

我是否以错误的方式使用了 model.predict？

Answer 1

您的模型没有过度拟合。为了解决您的问题，根本不必执行步骤 1 和 2。事实上，这是更错误的，因为作者指出在过度拟合的情况下你需要添加更多的层，强烈建议不要这样做：当一个人有一个过度拟合的模型时，模型需要变得更简单，而不是更复杂。

您的问题的解决方案在于@Dr.Snoopy 的回答：类的顺序不匹配。

我的建议是手动迭代整个测试集，获取基本事实，获取预测（确保对测试集图像应用与训练集中相同的图像预处理），然后再将它们提供给您的型号。

然后，计算您的指标。这将解决您的问题。

例如，您可以使用以下想法：

    correctly_predicted = 0
    for image in os.scandir(path_to_my_test_directory):
        image_path = image.path
        image = cv2.imread(image_path)
        image = apply_the_same_preprocessing_like_in_training(image)
        #transform from (H,W,3) to (1,H,W,3) because TF + Keras predict only on batches
        image = np.expand_dims(image,axis=0)
        prediction_label = np.argmax(model.predict(image))
        if prediction_label == ground_truth_label:
              correctly_predicted+=1