Oracle方法和自适应lasso

Oracle方法

已经被证实的是一个好的方法应该有这些Oracle性质，如系数的连续缩小性也被包括在最优的方法中。

比如，我们用的best subset selection和forward selection在选择变量个数的时候是不连续的，估计的变量系数自然值自然也是非连续的。

lasso在某些条件下不满足变量选择的相合性（consistency），lasso不算一个oracle方法。而adaptive lasso当权重被合适地选择时，具有oracle性质。

adaptive lasso

提一句，这里的自适应指的是权重本身是data-dependent的。

当我们选择合适的$λ_n$λn​时，自适应lasso就会有Oracle性质。这个可以总结为一条定理。
定理：假设$\frac{\lambda_n}{\sqrt{n}}\to0$n​λn​​→0，$\lambda_nn^{\frac{\nu-1}{2}}\to\infty$λn​n2ν−1​→∞，自适应lasso的系数估计值满足下列性质：
(1) 变量选择的相合性
(2) 渐进正态性

资料来源：
[1] Zou H. The adaptive lasso and its oracle properties[J]. Journal of the American statistical association, 2006, 101(476): 1418-1429.