【李宏毅2020 ML/DL】P4 Basic Concept

我已经有两年 ML 经历，这系列课主要用来查缺补漏，会记录一些细节的、自己不知道的东西。

已经有人记了笔记（很用心，强烈推荐）：
https://github.com/Sakura-gh/ML-notes

本节对应笔记：Where does the error come from?

本节内容综述

1. 误差可能来源于 Bias 与 Variance ；
2. 如果误差来源于 Bias ，为 Overfitting，来源于 Variance ，为 Underfitting ；
3. 模型的选择（类似交叉验证前置知识），要注意：在公共测试集测试，在私有测试集未必表现好；
4. N-fold Cross Validation，进行交叉验证。

小细节

What to do with large bias?

如果是过拟合：

• 可以考虑增加输入（特征工程、更多地数据）；
• 可以考虑更复杂的模型。

What to do with large variance?

如果是不拟合：

• 更多的数据；
• 正则化（让曲线更平滑）。