神经网络模型中的隐藏层数答案

【问题标题】：Number of hidden layers in a neural network model神经网络模型中的隐藏层数
【发布时间】：2016-01-11 23:45:38
【问题描述】：

谁能向我解释或指出一些资源，说明为什么（或在哪些情况下）多个隐藏层在神经网络中是必要或有用的？

【问题讨论】：

【解决方案1】：

基本上，更多的层可以表示更多的功能。人工智能课程的标准书籍“人工智能，一种现代方法”由 Russell 和 Norvig 撰写，在第 20 章中详细介绍了为什么多层如此重要。

重要的一点是，使用足够大的单个隐藏层，您可以表示每个连续函数，但您至少需要 2 层才能表示每个不连续函数。

但实际上，至少 99% 的时间单层就足够了。

【讨论】：

【解决方案2】：

这更类似于大脑的工作方式（这可能不一定是计算优势，但很多人正在研究 NN 以深入了解大脑的工作方式，而不是解决现实世界的问题。李>
使用更多层更容易实现某种不变性。例如，无论在图像中的什么位置找到对象或对象的大小，一个图像分类器都能正常工作。见Bouvrie, J. , L. Rosasco, and T. Poggio. "On Invariance in Hierarchical Models". Advances in Neural Information Processing Systems (NIPS) 22, 2009.

【讨论】：

【解决方案3】：

每一层都以指数方式有效地提高了适应的潜在“复杂性”（与将更多节点添加到单层的乘法方式相反）。

【讨论】：