回归问题

回归问题

回归分析用于预测输入变量（自变量）和输出变量（因变量)之间的关系，特别是输入变量的值发生变化时，输出变量随之发生变化，直观来说回归问题等价于函数拟合，选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。

回归分析
按照自变量个数可分为一元回归分析和多元回归分析，按照自变量与因变量关系可分为线性回归分析和非线性回归分析，按照因变量个数可分为简单回归分析和多重回归分析

典型且最简单：线性回归
线性回归算法假设特征和结果满足线性关系，这就意味着可以将输入项分别乘以一些常量，再将结果加起来得到输出

线性回归算法流程：

但是线性模型十分受限

于是有了线性回归扩展
线性回归扩展算法用简单的基函数f（x）替换输入变量x，这样我们就把线性拟合形式扩展到了固定非线性函数的线性组合。

解决过拟合

解决过拟合方法之一：岭回归
岭回归应用结构风险最小化的模型参数的二范数的时候，整个回归的方法就叫做岭回归

解决过拟合方法之二：Lasso回归
Lasso回归是一种压缩估计，它通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些函数，同时设定一些系数为零，因此保留了子集收缩的优点，是一种处理具复共线性数据的有偏估计。

Lasso回归翻译为中文叫套索，就是拿这个东西把动物脖子套住，不要它随便跑。Lasso回归差不多这个意思，就是让回归系数不要太大，以免造成过度拟合。

Lasso回归可以适应的情况：
样本量比较小，但是指标非常多，适用于高维统计传统的方法无法应对这样的数据，并且Lasso可以进行特征选择。