激活函数，损失函数，优化器

目录

• 1. 激活函数
  • 1.1. 为什么需要激活函数（激励函数）
    • 1.1.1. ReLU
    • 1.1.2. sigmod
    • 1.1.3. tanh
  • 1.2. Pytorch常见激活函数
• 2. 损失函数
  • 2.1. Keras内置的损失函数
    • 2.1.1. Keras core Loss
    • 2.1.2. mean_squared_error
    • 2.1.3. mean_absolute_error
    • 2.1.4. binary_crossentropy
    • 2.1.5. categorical_crossentropy
  • 2.2. Pytorch内置的损失函数
    • 2.2.1. 交叉熵：用于分类
    • 2.2.2. 均方误差（MSE）: 用于回归
• 3. 反向传播
  • 3.1. 链式法则
  • 3.2. 神经网络优化算法
    • 3.2.1. SGD
    • 3.2.2. Momentum
    • 3.2.3. Adagrad
    • 3.2.4. RMSprop
    • 3.2.5. Adam
• 4. Dropout函数

cnblog: Pytorch深度学习：损失函数、优化器、常见激活函数、批归一化详解

1. 激活函数

1.1. 为什么需要激活函数（激励函数）

在神经网络中，对于图像，我们主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个操作显然就是线性的。但是对于我们的样本来说，不一定是线性可分的，为了解决这个问题，我们可以进行线性变化，或者我们引入非线性因素，解决线性模型所不能解决的问题。

这就是为什么要有激活函数：激活函数是用来加入非线性因素的，因为线性模型的表达力不够。

所以激活函数，并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。

1.1.1. ReLU

简称为“抹零”