L1 或 L2 正则化是否为相同的损失函数和优化器提供最稀疏的权重？

【问题标题】：Does L1 or L2 regularization give the most sparse weights for the same loss function and optimizer?L1 或 L2 正则化是否为相同的损失函数和优化器提供最稀疏的权重？
【发布时间】：2019-09-17 05:35:08
【问题描述】：

如果我考虑一个数据集，哪种正则化技术（L1 正则化或 L2 正则化）将为相同的损失函数和相同的优化器输出最高的稀疏权重？

【问题讨论】：

L1（Lasso）将根据定义推动更稀疏的权重，但这并不意味着它会比 L2 表现更好。这确实取决于损失函数和使用的模型（因为某些模型很难学习许多特征，例如 SVM）

标签： machine-learning regression lasso-regression regularized

【解决方案1】：

根据定义，L1 正则化（lasso）强制一些权重为零，从而导致更稀疏的解决方案；根据regularization 上的维基百科条目：

可以证明，L1范数会导致稀疏

另请参阅 Towards Data Science 上的 L1 and L2 Regularization Methods 帖子：

这些技术之间的关键区别是 Lasso 将不太重要的特征的系数缩小到零，从而完全删除了一些特征。因此，如果我们有大量特征，这对于 特征选择 非常有效。

更多详情请看以下话题@Cross Validated：

Sparsity in Lasso and advantage over ridge

Why does the Lasso provide Variable Selection?

【讨论】：