【Deep Learning笔记】神经网络的优化解读（看不懂你来打我~！）

文章目录

• 1 **函数
• 1.1 sigmoid
• 1.2 tanh
• 1.3 ReLU函数
• 1.4 ReLU函数的变种
• 2 Dropout
• 2.1 原理
• 2.2 实验
• 2.3 作者重点分析的一些特点

1 **函数

1.1 sigmoid

1.2 tanh

优缺点：

引入更简单更高效的函数：

1.3 ReLU函数

softplus导数正好为sigmoid。

1.4 ReLU函数的变种

2 Dropout

2.1 原理

最后一种方法太耗时。

去掉神经元的同时，输入输出也要去掉。-》得到一个子网络。
训练的时候都会在神经网路中抽样。

r1,r2,r3 取0 or 1.

Dropout可以与其他方法混合使用。

2.2 实验

用dorpout之后，units（参数量）明显增大。


+L2正则以此类推。

CNN草图：真草图！

在CNN和max pooling基础上，在全连接层加入dropout后效果更佳。




在6层神经网路上加入dropout，同理。

2.3 作者重点分析的一些特点

学习到更通用的特征。

大量的神经元都没有被**，位于0周围。

左图过拟合。右图控制期望神经元数量（左图控制神经元数量）。


这张图说明dropout的权值缩放效果很好。