将从线性回归,逻辑回归,多分类的逻辑回归(softmax)三个例子分析。我们定义交叉熵和均方差损失函数的比较(Cross-Entropy vs. Squared Error),将b放到w中,交叉熵和均方差损失函数的比较(Cross-Entropy vs. Squared Error),其中f为**函数。
交叉熵和均方差损失函数的比较(Cross-Entropy vs. Squared Error)
交叉熵和均方差损失函数的比较(Cross-Entropy vs. Squared Error)
交叉熵和均方差损失函数的比较(Cross-Entropy vs. Squared Error)

总结

  1. 对SE而言,要得到一个线性的梯度,必须输出不经过**函数才行。这样的情况只有线性回归,所以SE较适合做回归问题,而CE更适合做分类问题,在分类问题中,CE都能得到线性的梯度,能有效的防止梯度的消失;

  2. SE作为分类问题的loss时,由于**函数求导的影响,造成连续乘以小于1大于0的数(f(u)(1-f(u)))造成梯度的消失,同时也使得error曲面变的崎岖,更慢的到的局部最优值。

相关文章:

  • 2021-06-13
  • 2022-12-23
  • 2022-12-23
  • 2021-11-28
  • 2021-12-26
  • 2021-11-29
  • 2022-12-23
猜你喜欢
  • 2021-12-26
  • 2022-12-23
  • 2021-06-14
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-08-25
相关资源
相似解决方案