当我们在训练一个神经网络的时候,参数的随机初始化是非常重要的,对于逻辑回归来说,把参数初始化为0是很ok的。但是对于一个神经网络,如果我们将权重或者是所有参数初始化为0,梯度下降算法将不会起到任何作用。

1. 为什么逻辑回归参数初始化为0是ok的?

14、权重初始化,为什么不能全部初始化为0
14、权重初始化,为什么不能全部初始化为0
14、权重初始化,为什么不能全部初始化为0

2. 为什么神经网络的权重或所有参数初始化为0,梯度下降不再work?

14、权重初始化,为什么不能全部初始化为0
14、权重初始化,为什么不能全部初始化为0
总结一下:在神经网络中,如果将权值初始化为 0 ,或者其他统一的常量,会导致后面的**单元具有相同的值,所有的单元相同意味着它们都在计算同一特征,网络变得跟只有一个隐含层节点一样,这使得神经网络失去了学习不同特征的能力!

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-09-16
  • 2022-12-23
  • 2021-11-19
  • 2022-12-23
  • 2021-07-29
猜你喜欢
  • 2022-12-23
  • 2022-02-04
  • 2021-08-16
  • 2021-07-31
  • 2017-12-12
  • 2021-11-10
  • 2022-12-23
相关资源
相似解决方案