sklearn中随机套索和逻辑回归的差异？答案

【问题标题】：Difference in Randomized Lasso and logistic regression in sklearn?sklearn中随机套索和逻辑回归的差异？
【发布时间】：2016-03-30 23:11:52
【问题描述】：

在 python sklearn 库中，支持 RandomizedLogisticRegression 和 RandomizedLasso 作为特征选择方法。

但是，它们都使用 L1(Lasso) 惩罚，我不确定为什么要同时实现它们。事实上，我虽然认为 Lasso 回归是 L1-regularized 逻辑回归的另一种说法，但也许似乎有一些不同。我认为即使是带有 L1 惩罚的线性 SVM（结合重采样）也会产生类似的结果。

它们之间有显着差异吗？

【问题讨论】：

这可能会有所帮助：基于 L1 的稀疏模型的局限性在于，面对一组非常相关的特征，它们只会选择一个。为了缓解这个问题，可以使用随机化，重新估计模型多次扰乱设计矩阵或子采样数据并计算选择回归量的次数。RandomizedLasso 使用 Lasso 实现回归设置的这种策略，而 RandomizedLogisticRegression使用逻辑回归，适用于分类任务。 scikit-learn.org/stable/modules/…
现在我明白了它们的不同之处。我认为 L1 正则化逻辑回归可能具有与 lasso 回归相同的特征。感谢您的评论。

【解决方案1】：

RandomizedLasso 使用 Lasso 实现回归设置的这种策略，而 RandomizedLogisticRegression 使用逻辑回归，适用于分类任务。要获得稳定性分数的完整路径，您可以使用 lasso_stability_path。

RandomizedLasso 用于结果是连续的回归。另一方面，RandomizedLogisticRegression 用于结果是类标签的分类。

【讨论】：

啊，这就是区别，因为随机逻辑回归仍然可以预测概率。然后 RandomizedLogisticRegression 将作为 L1 正则化 SVM 工作。谢谢你的解释大卫。