多层的多重激活函数（神经网络）答案

【问题标题】：Multiple Activation Functions for multiple Layers (Neural Networks)多层的多重激活函数（神经网络）
【发布时间】：2023-04-03 22:57:01
【问题描述】：

我的神经网络有一个二元分类问题。

在我的隐藏层使用 ReLU 激活函数和在输出层使用 sigmoid 函数，我已经得到了很好的结果。现在我正在努力获得更好的结果。我使用 ReLU 激活函数添加了第二个隐藏层，结果变得更好。我尝试将leaky ReLU 函数用于第二个隐藏层而不是 ReLU 函数，并获得了更好的结果，但我不确定这是否允许。

所以我有这样的事情：隐藏层 1：ReLU 激活函数隐藏层 2：leaky ReLU 激活函数隐藏层 3：sigmoid 激活函数

我在上面找不到很多资源，而且我发现的那些总是在所有隐藏层上使用相同的激活函数。

【问题讨论】：

这样用就好了。我认为我们使用相同的激活层是因为它很简单。只要它对你更好，就去吧！同样的问题在这里问：stackoverflow.com/a/37947823/8293176

标签： tensorflow neural-network multiclass-classification activation-function relu

【解决方案1】：

如果你指的是 Leaky ReLU，我可以说，实际上，Parametric ReLU (PReLU) 是泛化传统整流单元和leaky ReLU 的激活函数。是的，PReLU 改进了模型拟合，没有显着的额外计算成本和过拟合风险。

更多详情，您可以查看此链接Delving Deep into Rectifiers

【讨论】：