Keras 神经网络中 val-acc 和预测精度之间的巨大差异

Question

我有一个用于在 Keras 中制作 NN 模型的数据集，我从该数据集中取了 2000 行作为验证数据，这 2000 行应该添加到 .predict 函数中。

我为 Keras NN 编写了一个代码，现在它运行良好，但我注意到一些对我来说非常奇怪的东西。它给了我超过 83% 的非常好的准确率，损失在 0.12 左右，但是当我想用看不见的数据（那 2000 行）进行预测时，它只能预测平均 65% 的正确率。 当我添加 Dropout 层时，它只会降低准确性。

然后我添加了EarlyStopping，它给了我大约 86% 的准确率，损失在 0.10 左右，但是当我用看不见的数据进行预测时，我得到了 67% 的最终预测准确率。

这是否意味着模型在 87% 的情况下做出了正确的预测？我的逻辑是，如果我在 .predict 函数中添加 100 个样本，那么该程序应该对 87/100 个样本或该范围内的某个位置（假设超过 80 个）做出良好的预测？我尝试在我的.predict 函数中添加 100、500、1000、1500 和 2000 个样本，它总是在 65-68% 的样本中做出正确的预测。

为什么，我做错了什么？ 我尝试过使用层数、节点数、不同的激活函数和不同的优化器，但它只会将结果改变 1-2%。 我的数据集如下所示：

DataFrame shape (59249, 33)
x_train shape (47399, 32)
y_train shape (47399,)
x_test shape (11850, 32)
y_test shape (11850,)
testing_features shape (1000, 32)

这是我的神经网络模型：

model = Sequential()
model.add(Dense(64, input_dim = x_train.shape[1], activation = 'relu')) # input layer requires input_dim param
model.add(Dropout(0.2))
model.add(Dense(32, activation = 'relu'))
model.add(Dropout(0.2))
model.add(Dense(16, activation = 'relu'))
model.add(Dense(1, activation='sigmoid')) # sigmoid instead of relu for final probability between 0 and 1

# compile the model, adam gradient descent (optimized)
model.compile(loss="binary_crossentropy", optimizer= "adam", metrics=['accuracy'])


# call the function to fit to the data training the network)
es = EarlyStopping(monitor='val_loss', min_delta=0.0, patience=1, verbose=0, mode='auto')
model.fit(x_train, y_train, epochs = 15, shuffle = True, batch_size=32, validation_data=(x_test, y_test), verbose=2, callbacks=[es])

scores = model.evaluate(x_test, y_test)
print(model.metrics_names[0], round(scores[0]*100,2), model.metrics_names[1], round(scores[1]*100,2))

这些是结果：

Train on 47399 samples, validate on 11850 samples
Epoch 1/15
 - 25s - loss: 0.3648 - acc: 0.8451 - val_loss: 0.2825 - val_acc: 0.8756
Epoch 2/15
 - 9s - loss: 0.2949 - acc: 0.8689 - val_loss: 0.2566 - val_acc: 0.8797
Epoch 3/15
 - 9s - loss: 0.2741 - acc: 0.8773 - val_loss: 0.2468 - val_acc: 0.8849
Epoch 4/15
 - 9s - loss: 0.2626 - acc: 0.8816 - val_loss: 0.2416 - val_acc: 0.8845
Epoch 5/15
 - 10s - loss: 0.2566 - acc: 0.8827 - val_loss: 0.2401 - val_acc: 0.8867
Epoch 6/15
 - 8s - loss: 0.2503 - acc: 0.8858 - val_loss: 0.2364 - val_acc: 0.8893
Epoch 7/15
 - 9s - loss: 0.2480 - acc: 0.8873 - val_loss: 0.2321 - val_acc: 0.8895
Epoch 8/15
 - 9s - loss: 0.2450 - acc: 0.8886 - val_loss: 0.2357 - val_acc: 0.8888
11850/11850 [==============================] - 2s 173us/step
loss 23.57 acc 88.88

这是为了预测：

#testing_features are 2000 rows that i extracted from dataset (these samples are not used in training, this is separate dataset thats imported)

prediction = model.predict(testing_features , batch_size=32)

res = []
for p in prediction:
    res.append(p[0].round(0))


# Accuracy with sklearn - also much lower 
acc_score = accuracy_score(testing_results, res)
print("Sklearn acc", acc_score)    

result_df = pd.DataFrame({"label":testing_results,
                          "prediction":res})


result_df["prediction"] = result_df["prediction"].astype(int)

s = 0
for x,y in zip(result_df["label"], result_df["prediction"]):
    if x == y:
        s+=1

print(s,"/",len(result_df))
acc = s*100/len(result_df)
print('TOTAL ACC:', round(acc,2))

问题是......现在我得到了 sklearn 52% 和 my_acc 52% 的准确度。 为什么我在验证时得到如此低的准确度，而它说它要大得多？

Answer 1

您发布的训练数据提供了很高的验证准确度，所以我有点困惑您从哪里获得 65%，但一般来说，当您的模型在训练数据上的表现比在看不见的数据上好得多时，这意味着您'是over fitting。这是机器学习中一个反复出现的大问题，没有办法保证可以防止这种情况发生，但您可以尝试以下几件事：

• 调整网络的权重，例如使用 l2 正则化
• 在训练期间使用随机正则化技术，例如 drop-out
• early stopping
• 降低模型复杂度（但你说你已经尝试过了）

Answer 2

我将列出我在您的模型上看到的问题/建议。

1. 您要预测什么？您在最后一层使用sigmoid 激活函数，这似乎是一个二进制分类，但在您的loss 函数中您使用了mse，这似乎很奇怪。您可以为您的模型尝试binary_crossentropy 而不是mse 损失函数。
2. 您的模型似乎存在过拟合问题，因此您可以增加概率。的 Dropout 并在其他隐藏层之间添加新的 Dropout，或者您可以删除其中一个隐藏层，因为您的模型似乎太复杂了。
3. 您可以在层中更改神经元数量，例如更窄 => 64 -> 32 -> 16 -> 1 或尝试不同的 NN 架构。
4. 尝试使用adam 优化器而不是sgd。
5. 如果您有57849 样本，您可以在训练+验证中使用 47000 个样本，其余的将是您的测试集。
6. 不要使用相同的集合进行评估和验证。首先将您的数据拆分为训练集和测试集。然后，当您拟合模型时，请提供 validation_split_ratio，然后它会自动从您的训练集中提供验证集。