CNN 准确率与损失选择答案

【问题标题】：CNN Accuracy vs loss selectionCNN 准确率与损失选择
【发布时间】：2020-06-05 20:05:55
【问题描述】：

我使用 Adam 优化器构建了两个 CNN 分类器。其中一个我应用了 dropout (.05)，第二个没有 dropout。我对每种情况都有以下准确度和损失值，哪一个表现更好？我注意到它们都具有相当的准确度，但是具有 dropout 的分类器具有更好的且波动较小的损失结果。

下面是分类器的第一张图片，启用了 dropout (0.5)，第二张没有启用 dropout

【问题讨论】：

【解决方案1】：

您添加的 dropout 减轻了过度拟合的影响；从本质上讲，这就是为什么损失图不像在没有丢失/添加任何其他正则化的情况下那样振荡的原因。

即使在没有 dropout/regularization 的模型的情况下，验证集的准确度可能会稍好一些（大 1-2%），但您应该期望第二个模型（包括 dropout）在看不见的数据上表现更好（测试集）。

应该选择dropout-model；此外，您可以尝试使用不同的 dropout 阈值来检查性能。此外，最好有一个测试集来快速验证您的任何假设。

请注意，您将验证集用作测试集，但它们有不同的用途。您实际显示的是训练验证损失/准确度，而不是训练测试损失/准确度。

【讨论】：

谢谢。我正在部署验证集以选择 bes 参数，一旦我选择了最佳模型，我将在其中应用测试集。我认为准确率和损失之间的关系是相反的，但即使损失增加，不同时期的准确率也不会下降。我的理解正确吗？
一般来说，准确率随着loss的减少而增加，但并不是一定的事情/引理；您可能会增加损失而不会降低准确性。