激活函数的选择

【问题标题】：Selection of activation function激活函数的选择
【发布时间】：2018-10-24 15:23:59
【问题描述】：

我正在 Tensorflow 上制作一个自动编码器，它将输入作为一个 3D 矩阵，其值在 [-1,1] 的范围内。这种场景的最佳激活函数是什么？

另外，根据输入范围选择激活函数的经验法则是什么？

【问题讨论】：

【解决方案1】：

首先，通常建议使用批量标准化启动网络，这或多或少会将值限制在 -1 和 1 之间。

隐藏层的激活函数应该具有非线性，以便能够处理更高级别的复杂性。所以我会选择 relu 或其变体之一。

在网络的末端，在最后一层，你可以有一个没有激活函数的密集层来允许映射负值。

【讨论】：

【解决方案2】：

在选择激活函数时没有“经验法则”。

我使用this 指南根据复杂性选择我的激活函数

另请参阅this 回答以获得更多指导

【讨论】：