如何确定在人工神经网络的层之间连接哪些神经元？答案

【问题标题】：How to determine which neurons to connect between layers in an artificial neural network?如何确定在人工神经网络的层之间连接哪些神经元？
【发布时间】：2015-07-04 05:52:27
【问题描述】：

假设我的第一个输入层有 10 个输入节点/神经元。假设我的隐藏层也有 10 个神经元。我的第三层也是最后一层是一个输出神经元。

如何连接图层？是否有一种技术可以确定执行此操作的最佳方法，或者您只是将每个输入神经元连接到每个隐藏层神经元，从而在两层之间总共有 100 个边？

这可能是一个非常基本的问题，但我没有看到太多具体的例子。我发现的例子要么似乎连接了所有神经元，要么连接似乎是随机的。

【问题讨论】：

标签： artificial-intelligence neural-network

【解决方案1】：

我认为如果你切断输入节点和隐藏层之间的一些链接，你就会人为地影响训练阶段。基本上你更加重视剩余的链接。

即使你只将一个神经元与下一层的一小部分神经元连接起来，这就像将它们全部连接起来，但未连接的神经元的通信权重为 0。训练算法实际上可能会达到这种情况。

真正重要的是神经网络的架构和分配给神经元每个输入/输出链接的权重。

因此将输入层的 10 个输入节点中的每一个连接到隐藏层中的所有 10 个节点，然后让训练算法完成其工作。如果你有足够的训练和测试数据，就会产生预期的结果。

【讨论】：

【解决方案2】：

如果有的话，这是基于直觉和经验结果。我见过人们使用递归神经网络。

使用前馈神经网络，将n 层中的所有神经元连接到n+1 层中的所有神经元是有意义的。

这是我最近使用的一个例子（展示大量的边）：

【讨论】：

您是否也通过测试和直觉决定了使用多少层以及每个隐藏层中有多少神经元？如果给定训练集并且必须反向传播以调整错误，它是前馈神经网络吗？
我已经测试了几种安排，当前的设置最适合我的用例。前馈网络使用反向传播算法（例如，梯度下降或 Newton-Raphson）来调整权重。
在您的图中，有些节点未连接到输入层（既不直接也不间接），但连接（直接或间接）到输出层。这有意义吗？如何？（示例：第一个隐藏层，上层节点）
那些被称为偏置节点。它们的输入值始终固定在一个恒定值，但连接权重按照通常的方式进行训练。一些文献似乎表明这是一个好主意，另一些似乎不同意。从本质上讲，它允许一层或神经元“突然”变得更加占主导地位。

【解决方案3】：

我的理解是相邻层的所有节点都应该连接。所以所有 10 个输入节点都应该连接到隐藏层中的所有 10 个节点（100 个连接）。那么隐藏层中的所有 10 个节点都应该连接到输出节点（10 个连接）。

在你的情况下，我认为连接总数应该是 110。

【讨论】：