三类都是回归常用的损失函数

MAE和L1

L1,L2,smooth L1

L1,L2,smooth L1
优点:无论对于什么样的输入值,都有着稳定的梯度,不会导致梯度爆炸问题,具有较为稳健性的解。
缺点:在中心点是折点,不能求导,不方便求解。
L1,L2,smooth L1

MAE叫做L1损失
L1()叫L1损失函数

MSE和L2

L1,L2,smooth L1
L1,L2,smooth L1
优点:各点都连续光滑,方便求导,具有较为稳定的解

缺点:不是特别的稳健,为什么?因为当函数的输入值距离中心值较远的时候,使用梯度下降法求解的时候梯度很大,可能导致梯度爆炸。

L1,L2,smooth L1

L2损失函数又叫做最小均方误差(LSE)

Smooth L1

L1,L2,smooth L1

相关文章:

  • 2021-08-28
  • 2021-04-26
  • 2021-10-04
  • 2021-06-30
  • 2022-01-18
  • 2021-10-20
  • 2021-11-30
  • 2021-07-11
猜你喜欢
  • 2021-03-26
  • 2021-10-31
  • 2021-09-01
  • 2022-01-05
  • 2019-12-11
  • 2022-01-19
  • 2021-05-29
相关资源
相似解决方案