【问题标题】：Which Activation function should I use in the layer which is just previous to Final layer in Deep Neural Network?我应该在深度神经网络中最终层之前的层中使用哪个激活函数？
【发布时间】：2021-05-14 21:19:39
【问题描述】：
我有一个带有单标签多类的数据集。MNIST Dataset 。我想在该数据集上构建深度神经网络分类器。很明显，最后一层的激活函数将是 Softmax。但我很好奇我应该在最后一层之前使用哪个激活函数（Relu、Sigmoid、tanh）。也请给出背后的直觉。
【问题讨论】：
标签：
machine-learning
deep-learning
neural-network
data-science
activation-function
【解决方案1】：
您可以使用上述三种中的任何一种，甚至更多。尽管事实上，“ReLu”的计算速度比其他两个更快，并且它的导数计算速度更快。这对神经网络的训练和推理时间产生了重大影响：只是一个常数因素，但常数很重要。然而，通常更喜欢 ReLu 的主要原因是它不太容易受到梯度消失问题的影响。