Lasso求解

参考文献

（一）Lasso 闭式解

从Lasso开始说起
5. Lasso三种求解方法：闭式解、LARS、CD

（二）坐标下降法 Coordinate Descent

Lasso回归的坐标下降法推导

次要参考文献

坐标下降法中要用到“次梯度”的概念：
次梯度（subgradient）方法

函数 $f(x)$f(x) 不一定是处处可导的，但是一定存在次导数。对 $f(x)$f(x) 定义域内的任何点 $x_0$x0​, 总可以作出一条直线，它通过点 $(x_0, f(x_0))$(x0​,f(x0​))，并且要么接触 $f(x)$f(x) 的图像，要么在它的下方。这条直线的斜率称为函数的次导数。

eg: 考虑凸函数 $f(x)=|x|$f(x)=∣x∣. 在原点 $x_0=0$x0​=0 的次微分是区间 $[−1, 1]$[−1,1]. $x_0<0$x0​<0 时，次微分是单元素集合{-1}；而 $x_0>0$x0​>0时，次微分则是单元素集合{1}。