为什么 1-norm SVM 比 2-norm SVM 更稀疏？答案

【问题标题】：Why is 1-norm SVM more sparse than 2-norm SVM?为什么 1-norm SVM 比 2-norm SVM 更稀疏？
【发布时间】：2012-06-18 19:46:29
【问题描述】：

与在 SVM 的相同成本函数中使用 2-norm 权重相比，我们如何通过在成本函数中使用 1-norm 权重来增加稀疏性。

对于 1-范数：成本函数-Minimize ||w||_1
对于 2 范数：成本函数 - Minimize ||w||_2

和LP-SVM有关吗？

【问题讨论】：

【解决方案1】：

查看 l_1 损失对某个参数的偏导数。

相对于重量的增加，损失是恒定的。所以增加的重量需要抵消一些固定的误差，不管重量已经有多小。

比较一下 l2 损失，其中惩罚与当前参数的大小成比例。所以当它接近 0 时，它只需要有一个无穷小的误差减少来抵消正则化的惩罚。

【讨论】：

【解决方案2】：

注意 ||w||_2

这就是为什么 ||w||_1 是一个更难的约束，会导致稀疏向量。

它不是特定于 SVM，许多算法使用 L1 或 L2 正则化。

【讨论】：