Lasso回归的坐标下降法推导
目标函数
Lasso相当于带有L1正则化项的线性回归。先看下目标函数：
这个问题由于正则化项在零点处不可求导，所以使用非梯度下降法进行求解，如坐标下降法或最小角回归法。
坐标下降法
本文介绍坐标下降法。
坐标下降算法每次选择一个维度进行参数更新，维度的选择可以是随机的或者是按顺序。
当一轮更新结束后，更新步长的最大值少于预设阈值时，终止迭代。
下面分为两部求解：
RSS偏导
正则项偏导
次梯度方法(subgradient method)是传统的梯度下降方法的拓展，用来处理不可导的凸函数。
整体偏导数
伪代码
概率解释
拉普拉斯分布
MAP推导