【发布时间】：2018-10-05 10:23:12
【问题描述】：
我正在用新创建的激活函数在 8 层 (1568-784-512-256-128-64-32-10) 全连接深度神经网络上训练 MNIST，如下图所示。这个函数看起来有点类似于 ReLU，但是，它在“扭结”处给出了一个垃圾曲线。
当我用它训练 5 层、6 层和 7 层全连接神经网络时，它运行良好。当我在 8 层全连接神经网络中使用它时，问题就出现了。它只会在第 1 个 epoch 学习然后停止学习（Test Loss 给出“nan”并且测试准确率下降到 9.8%）。为什么会这样？
我的其他配置如下：Dropout=0.5，权重初始化=Xavier初始化，学习率=0.1
【问题讨论】：
标签： machine-learning neural-network deep-learning artificial-intelligence activation-function