1.Lasso回归模型
原模型：
其中z是高斯分布噪声，z~N（0，sigma ^ 2）
套索目标函数：
2.Lasso回归的效果（目的）
缩小（收缩）系数，并且将其中一些置零，从而获得岭回归和最优子集选择法的共同优点
参考：lasso.pdf
3.Lasso回归精度分析
其中p是自变量个数，n是样本数目，s是原模型中系数不为零的beta个数，sigma z是原模型中噪声z的标准差，gamma是自变量矩阵X所满足的限制特征值属性参数（restricted-eigenvalue property（REP））
可以看出，回归系数的二范数偏差数量级为O（ ）
说明套索回归的模型系数的β与原模型的系数稀疏程度S，样本个数N，样本的噪声方差西格玛相关。
-
原模型中非零系数越多，误差越大
-
样本数越多，误差越小
-
样本数据噪声方差越大（越分散），误差越大
参考：稀疏回归.pdf - 2.4套索的理论分析
4.Lasso回归的几何意义
以直观的图形为例，LASSO回归的惩罚函数映射到二维空间的话，就会形成“角”，一旦“角”与抛物面相交，就会导致beta1为0（如上图所示），这样beta1对应的变量就是一个可抛弃的变量。
但是，从图中可以看出套索回归的结果是模型参数的β的有偏估计（因为图中红色点-最小二乘是无偏估计）
参考：https ：//blog.csdn.net/huahaitingyuan/article/details/40979013
5.Lasso的求解方法
-
坐标下降法（坐标下降法）
一种迭代求解方法，需要自己设置正则项参数
每一轮时间复杂度：O（n * p）n是样本数p是自变量个数（但是不知道要计算多少轮才收敛）
参考：https：//www.cnblogs.com/pinard/p/6018889.html
-
最小角回归（LARS）
一种求解套索问题的方法，不需要正则项参数
时间复杂度：O（p ^ 3）（对于n << p的情况）
参考：https：//stats.stackexchange.com/questions/76518/what-is-the-time-complexity-of-lasso-regression