【发布时间】：2020-11-27 21:23:27
【问题描述】：
我正在训练一个用于图像语义分割的 CNN U-net 模型，但是训练损失的下降速度似乎比验证损失快得多，这正常吗？
我使用的是 0.002 的损失
训练和验证损失如下图所示：
【问题讨论】：
标签： deep-learning conv-neural-network semantic-segmentation
【发布时间】：2020-11-27 21:23:27
【问题描述】：
是的，这是完全正常的。
随着 NN 的学习，它从训练样本中推断出它在每次迭代时都知道得更好。验证集在训练期间从不使用，这就是它如此重要的原因。
基本上：
- 只要验证损失减少（即使是轻微的），这意味着 NN 仍然能够更好地学习/泛化，
- 一旦验证损失停滞，您就应该停止训练，
- 如果继续训练，验证损失可能会再次增加，这称为过拟合。简而言之，这意味着 NN “熟记”训练数据，而不是真正推广到未知样本（例如在验证集中）
我们通常使用提前停止来避免最后一次：基本上，如果您的验证损失在 X 次迭代中没有改善，则停止训练（X 是一个值，例如 5 或 10）。
【讨论】：