深度学习: 过拟合 (overfitting)

Introduction

过拟合，overfitting，指的是 模型 对训练数据的 抽样误差 也进行了 很好的拟合 ，是一种 无监督下 的 矫枉过正 。

好比自动吸尘机器人帮你把家里的灰尘清干净了，然后顺道把你丢地上的臭袜子也一块吸了进去。。。

在机器学习和深度学习中，过拟合 是 泛化能力 的天敌。

症状

训练集上表现好，验证集上表现差：

上图中，验证误差 开始回升 的时间点，就是 过拟合的 开始。

对应的，我们一般取 验证误差曲线 低谷 的 时间点 对应的模型 作为 最优模型 。

药方

1. 正则化 (包括：网络正则化、dropout正则化、加入验证集)

2. 早停

3. 加数据