L1范数: 

||X||1=(|x1|+|x2|+...+|xn|)

L2范数: 

||X||2=(|x1|2+|x2|2+...+|xn|2)12

特别的,L0范数:指向量中非零元素的个数。无穷范数:指向量中所有元素的最大绝对值。

L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模

型,使用L1正则化的模型建叫做Lasso回归,使用L2正则化的模型叫做Ridge回归(岭回归)。

正则化和范数

从图中可以看出,L1范数的交点一般出现在坐标轴上,这时候w1或w2=0。

相关文章:

  • 2022-01-16
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-07-20
猜你喜欢
  • 2021-06-02
  • 2021-05-19
  • 2021-08-04
  • 2022-12-23
  • 2022-12-23
  • 2021-12-14
  • 2021-12-27
相关资源
相似解决方案