人工神经网络的深度

Question

根据this answer，永远不要使用超过两个隐藏层的神经元。

根据this answer，中间层最多应包含两倍数量的输入或输出神经元（因此，如果您有 5 个输入神经元和 10 个输出神经元，则每层应使用（最多）20 个中间神经元） .

这是否意味着所有数据都将在该数量的神经元中建模？

因此，例如，如果您想做任何事情，从建模天气（来自不同气象站的数据的一百万个输入节点）到简单的 OCR（分辨率为 1000x1000DPI 的扫描文本），您将需要相同数量的节点?

---

PS。

我的last question 已关闭。是否有其他 SE 网站提供此类问题的主题？

Answer 1

您的数据可能会过度拟合（又名高方差）。可以这样想：您拥有的神经元和层越多，您的参数就越多，以更好地拟合您的数据。

请记住，对于第一层节点，方程变为 Z = sigmoid(sum(W*x)) 第二层节点变成 Z2 = Sigmoid(sum(W*Z))

查看斯坦福大学教授的机器学习课程...这是一门很棒的在线课程和很好的参考工具。

Answer 2

两个以上的隐藏层在某些架构中可能很有用 例如级联相关（Fahlman 和 Lebiere 1990）和特殊的 应用，例如双螺旋问题 (Lang and Witbrock 1988) 和邮政编码识别（Le Cun et al. 1989）。

• 法尔曼, S.E.和 Lebiere, C. (1990)，“级联相关 学习架构，”NIPS2, 524-532。
• Le Cun, Y., Boser, B., Denker, J.s., Henderson, D., Howard, R.E., Hubbard, W. 和 Jackel, L.D. (1989)，“反向传播应用于 手写邮政编码识别”，神经计算，1, 541-551。

查看comp.ai.neural-nets's FAQ 上的"How many hidden layers should I use?" and "How many hidden units should I use?" 部分了解更多信息。