6 训练神经网络(上)——激活函数、数据预处理

训练神经网络(上)——激活函数、数据 预处理

文章目录

• 训练神经网络(上)——激活函数、数据 预处理
• • Activateion
  • • Sigmoid
    • tanh(x)
    • ReLU
    • Leaky ReLU
    • Exponential Linear Units(ELU)
    • Maxout Neuron
  • Data Preprocessing
  • • Preprocess the data
    • Weight Normalization

Activateion

Sigmoid

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

• Squashes numbers to range [0,1]
• Historically popular

3 problems:

1. Saturated neurons kill the gradient
2. Sigmoid outputs are not zero-centered
3. exp() is a bit compute expensive

tanh(x)

• Squanshes numbers to range [-1, 1]
• zero centered