参考链接1

关于稀疏性的问题,我们不做过多的研究与讨论,进我们我们从MAP的角度看看L1和L2正则项会让参数W变成一个什么样的分布。

从MAP的角度看的话,我们加入正则项的目的相当于给模型先验项,而L1和L2的区别在于,我们是预先觉得我们的模型属于什么分布的?

L1和L2正则项的学习

如果我们预先觉得模型的参数w分布符合:标准拉普拉斯分布,那么这就是L1正则化:

L1和L2正则项的学习

如果认为是标准的正太分布的化:那么他就可以转化为L2分布:

L1和L2正则项的学习

相关文章:

  • 2021-12-04
  • 2021-04-27
  • 2021-08-28
  • 2021-11-07
  • 2021-07-17
猜你喜欢
  • 2021-12-18
  • 2021-08-09
  • 2021-07-28
  • 2021-09-22
  • 2021-04-27
  • 2021-06-24
  • 2021-11-20
相关资源
相似解决方案