Random Initialization 随机初始化参数 W & b


Reference:Thanks for Deep Learning from Coursera, especially Andrew Ng’s team

Deep learning I - III Shallow Neural Network - Random Initialization深度学习随机初始化的必要性
Deep learning I - III Shallow Neural Network - Random Initialization深度学习随机初始化的必要性
1. 对于linear regression,将参数都初始化为0是可取的,随着梯度下降,参数不断更新至收敛
2. 对于Neural Network,将参数都初始化为0会造成相应layer上的Neuron完全对称相同,通过反向传播算法更新值时,同样会是完全对称相同
3. 所以,初始化NN参数时,使用随机初始化初始值,并使用较小的初始值,因为如tanh激励函数,在z值较少的时候导数较大,可以较快的更新下降

相关文章: