| bias、variance介绍 |
error = bias^2 + variance + noise
误差原因：
- bias反映的是模型在样本上的输出值与真实值之间的误差，即模型本身的精准度，反映算法本身的拟合能力。为系统误差，可以理解为其他学科里面的准确度，即模型输出值的平均值与真实值平均值的符合程度。
- variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性，反映预测结果的波动情况。或者说离散情况，为随机误差和系统误差的综合反映。
- 噪声（偶然误差）
bias表示偏离中心的程度，variance表示结果的波动程度。在实际的预测当中，我们希望模型的数据不但是low bias，而且还是low variance，但是两者之间的trade-off导致这种情况很难发生。
-
欠拟合
当模型的复杂程度过低或者训练数据过少时候，得到的预测模型不能反映出数据之间正确的关系，会产生较高的偏差，即high bias。 -
过拟合
当模型的复杂程度过高或者说过度学习了训练数据中的内在联系，而导致在使用测试集验证的时候误差仍然会很大，但这时候不是由bias引起的，而是由high variance引起的。
参考文献
1、https://www.cnblogs.com/hbwxcw/p/9000136.html
2、吴恩达 Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization