【天池新人赛-工业蒸汽量预测】6.岭回归、Lasso、ElasticNet

1. 三个模型主要解决的问题：回归的过拟合（Overfitting）问题

当用于训练的特征和数据较少时，可能会导致上图左侧的欠拟合情况。
我们希望达到的模型效果是上图中间所示。
当用于训练的特征和数据较多时，可能会导致上图右侧的过拟合情况。

2. 岭回归（L2正则化）

1. 在上图中，为了防止过拟合（上图右侧变为上图中间），就需要对一些变量的系数进行惩罚，使其越小越好。
2. 岭回归（也叫L2正则化），就是防止过拟合的一种方法，其在原始的损失函数中增加了惩罚项$\lambda$λ，对某些变量的系数$\theta$θ进行惩罚。岭回归的损失函数如图所示：
   
3. 岭回归使用场景：只要数据线性相关，使用LinearRegression拟合不佳，需要正则化，可以考虑使用岭回归；如果输入的特征维度很高，或是稀疏线性关系的话，岭回归不太合适，可以考虑使用Lasso回归。

3. Lasso回归（L1正则化）

1. Lasso回归（L1正则化）与岭回归的区别在于：原始损失函数所加入的惩罚项不同：
   
2. 使用场景：Lasso回归可以使一些特征的系数变小（甚至变为0），起到了选择特征的作用，因此适用于高维度特征和线性关系稀疏的情况。

4.ElasticNet回归

1. ElasticNet回归综合了L2、L1的情况，其损失函数为：
   
2. 使用场景：在我们发现用Lasso回归太过(太多特征被稀疏为0),而岭回归也正则化不够(回归系数衰减太慢)的时候，可以考虑使用ElasticNet回归来综合，得到比较好的结果。

4.python中使用这三个模型主要调参对象为alpha，也就是惩罚项所乘的$\lambda$λ