六、验证数据集与交叉验证

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

七、偏差方差平衡

偏差方差权衡 Bias Variance Trade off

偏差 Bias

导致偏差的主要原因:

对问题本身的假设不正确!

如:非线性数据使用线性回归

欠拟合 underfitting

方差 Variance

数据的一点点扰动都会较大的影响模型

通常原因,使用的模型太复杂

如高阶多项式回归。

过拟合 overfitting

偏差和方差

有一些算法天生高方差,KNN

非参数学习通常都是高方差算法。因为不对数据进行任何假设。

有一些算法天生是高偏差算法。如线性回归。

参数学习通常都是高偏差算法。因为对数据具有极强的假设。

 

大多数算法具有相应的参数, 可以调整偏差和方差。

如 KNN中的 K

如线性回归中使用多项式回归

 

偏差和方差通常是矛盾的。

降低偏差,会提高方差。

降低方差,会提高偏差。

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

八、模型泛化与岭回归

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

 

 机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

九、LASSO  Regularization

机器学习(八) 多项式回归与模型泛化(下)

 

 机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

 

 机器学习(八) 多项式回归与模型泛化(下)

 

 机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

 

 机器学习(八) 多项式回归与模型泛化(下)

十、L1, L2和弹性网络

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

 

 机器学习(八) 多项式回归与模型泛化(下)

机器学习(八) 多项式回归与模型泛化(下)

 

 机器学习(八) 多项式回归与模型泛化(下)

我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 我写的文章只是我自己对bobo老师讲课内容的理解和整理,也只是我自己的弊见。bobo老师的课 是慕课网出品的。欢迎大家一起学习。

 

相关文章: