优化篇-【参数初始化】

【参数初始化】

文章目录

• 【参数初始化】
• 1. 参数初始化的重要性
• 1.1.初始化与深度学习的起源
• 1.2.什么是好的初始化
• 2. 常用参数初始化方法
• 2.1 全零与随机初始化
• 2.2.标准初始化
• 2.3.Xavier
• 2.3xavier与标准化初始化对比
• 2.4.MSRA初始化
• 3.如何更好地进行参数初始化
• 3.1.思考

1. 参数初始化的重要性

1.1.初始化与深度学习的起源

1.2.什么是好的初始化

• 各层**值不能为0；
• 各层**值不会出现饱和

2. 常用参数初始化方法

2.1 全零与随机初始化

1-全零初始化：对称的网络，误差反向传播时，更新后的网络参数将会相同，无法学习

2-随机初始化：用随机值初始化，大了容易饱和，小了**不动

2.2.标准初始化

2.3.Xavier

• 非常适合tanh 函数（**值是整个值域的）——（其他的只有正值）

2.3xavier与标准化初始化对比

2.4.MSRA初始化

3.如何更好地进行参数初始化

3.1.思考

1-不同**函数的统一框架’‘On weight initialization in deep neural networks’’
$v^{2}=\frac{1}{N\left(g^{\prime}(0)\right)^{2}\left(1+g(0)^{2}\right)}$v2=N(g′(0))2(1+g(0)2)1​
2-训练时重新初始化权重

3-预训练模型