为什么验证损失和准确率波动如此之大？ [关闭]

Question

我目前正在训练一个 CNN 来检测一个人是否戴口罩。不幸的是，我不明白为什么我的验证损失如此之高。正如我所注意到的，我正在验证的数据是在类之后排序的（这是网络的输出）。这对我的验证准确性和损失有什么影响吗？ 我使用计算机视觉测试了模型，效果很好，但验证损失和准确性看起来仍然非常错误。 原因是什么？

Answer 1

从直觉上看，这种现象的发生可能是由于以下几个因素：

1. 您可能会使用非常大的批量大小 (>=128)，这可能会导致这些波动，因为如果批量大小太高，则会对收敛产生负面影响。有几篇论文研究了这种现象。您可能会也可能不会。
2. 您的验证集可能太小了。当验证集太小（数量上，不一定是训练-验证之间的百分比分配）时，我会遇到这种波动。在这种情况下，一个 epoch 之后权重的变化会对验证损失产生更明显的影响（并在很大程度上自动影响验证准确性）。

在我看来，根据我的经验，如果您考虑/检查您的模型在现实生活中运行良好，您可以决定只训练 50 个 epoch，因为您可以从图表中看出这是一个最佳切割-off 点，因为在该点之后波动加剧，并且可能会观察到小的过度拟合现象。