什么时候可以使用无标度神经网络？答案

【问题标题】：When might one use a scale-free neural network?什么时候可以使用无标度神经网络？
【发布时间】：2016-07-10 23:55:02
【问题描述】：

前馈神经网络的结构是有向无环网络（DAG）。神经网络结构，例如在 MLP 中，我们通常在实践中看到具有固定结构，其中每一层中的节点都链接到下一层中的每个节点。

一般 DAG 结构何时可能胜过某种意义上具有可比性的 MLP 风格的结构（例如，具有相同权重数量的 MLP）？

这个问题的灵感来自生物学，其中神经通路或细胞信号通路通常具有前馈拓扑，它更像是无标度网络，而不是堆叠层的网络。我当然不是第一个意识到这一点的人，所以我想知道——我可以从哪里了解该领域的研究和问题类型？

【问题讨论】：

不确定，但对于计算机科学或统计网站来说可能是一个更好的问题
除了“未完全连接”之外，没有具体的名称。有几十种架构，它们有不同的连接、旁路等。包括高速公路网络、水库网络等。只要看看 NIPS 会议的神经网络论文，你就会发现几十种这样的模型

【解决方案1】：

您可以轻松想象的一个人工示例是，当您的输入包含两个独立且高度复杂的部分（例如，来自两个不同来源的串联输入）时，您希望使用这两种信息来获得更好的估计一些输出取决于这两个来源。你可能会想象 - 在最初的几层中，网络中负责对输入的不同部分执行计算的部分之间不需要连接，因为它只会添加一些可能会损害你的训练的无用参数.

【讨论】：