探索模型的过拟合

Question

我正在检测我的深度学习模型的过度拟合。

但我对过度拟合感到困惑。

比如我的训练准确率和损失都很高，我的开发损失和准确率几乎等于它。

问题；

i) 这是什么意思？

ii) 我应该做什么？

iii) 行动的可能结果是什么？

Answer 1

正如 Andrew Ng 教授所教授的，有一个非常简单的概念可以判断你的模型是否过拟合

如果您的训练集准确度和开发集准确度之间存在很大差异，那么这意味着您的模型过度拟合了您的训练数据，您可以执行不同的操作，例如

1.) 引入 L2 正则化

2.) 在网络中引入 dropout（或增加网络 dropout 概率）

3.) 如果可能，请尝试在您的训练集中添加更多数据，这些数据代表您可能在开发或测试集中使用的数据。

4.) 尝试改变你的神经网络架构。

5.) 您可以在数据中引入随机噪声（数据增强）。

如果您的训练数据和开发数据准确性之间没有太大差异，那么网络并没有过度拟合数据。