当我们在训练一个神经网络的时候,参数的随机初始化是非常重要的,对于逻辑回归来说,把参数初始化为0是很ok的。但是对于一个神经网络,如果我们将权重或者是所有参数初始化为0,梯度下降算法将不会起到任何作用。
1. 为什么逻辑回归参数初始化为0是ok的?
2. 为什么神经网络的权重或所有参数初始化为0,梯度下降不再work?
总结一下:在神经网络中,如果将权值初始化为 0 ,或者其他统一的常量,会导致后面的**单元具有相同的值,所有的单元相同意味着它们都在计算同一特征,网络变得跟只有一个隐含层节点一样,这使得神经网络失去了学习不同特征的能力!