【发布时间】：2014-05-05 18:45:50
【问题描述】：
如果我们在神经网络中使用太多隐藏层会不会有什么问题？任何人都可以简单地描述如果我们有太多隐藏层会出现什么问题。
【问题讨论】：
-
这就像“过度训练”。您最终准确地拟合了数据，但您不再在数据中寻找“趋势”。与用 9 阶多项式拟合 10 个随机点的问题相同 - 您的曲线穿过所有点，但它不能很好地代表底层系统的行为。
标签： machine-learning neural-network
【发布时间】：2014-05-05 18:45:50
【问题描述】：
最重要的问题是所谓的“梯度消失现象”，很容易验证（理论上和实践上）不可能有效地训练多个隐藏层（假设传统的反向传播，没有深度学习/neocognitron/卷积网络），因为计算出的梯度/导数越来越平滑。每增加一层，错误的“责任”就会消失。
过度拟合（正如@Floris 错误地陈述的那样）不是这里的主要问题，因为同样的问题来自于隐藏单元的数量（实际上它会发生）更常见的是增加一个隐藏层中的单元数量而不是增加隐藏层的数量）。
【讨论】：