减少训练损失，稳定验证损失——模型是否过拟合？答案

【问题标题】：Decreasing training loss, stable validation loss - is the model overfitting?减少训练损失，稳定验证损失——模型是否过拟合？
【发布时间】：2020-01-04 13:23:16
【问题描述】：

我的模型是否过拟合？如果验证损失大幅增加，而训练损失减少，我可以肯定它会过度拟合。但是验证损失几乎是稳定的，所以我不确定。你能帮忙吗？

【问题讨论】：

标签： machine-learning conv-neural-network

【解决方案1】：

我假设您使用不同的超参数？也许保存
参数并使用一组不同的超参数恢复。
这个评论真的取决于你如何做超参数
优化。
尝试不同的训练/测试拆分。这可能是异质的。尤其是在这么少的时代。
取决于训练和评估模型的成本，考虑装袋你的模型，类似于随机森林的运作方式。换句话说，使您的模型适合许多不同的训练/测试拆分，并平均模型输出，无论是根据多数分类投票，或预测概率的平均值。在这种情况下，我宁愿选择稍微过拟合的模型，因为平均可以减轻过拟合。但是我也不会训练到死，除非你非常适合许多神经网络，并以某种方式确保您对它们进行去相关类似于随机森林中随机子空间的方法。

【讨论】：