【发布时间】：2011-11-06 16:17:27
【问题描述】：
我想知道：在多层前馈神经网络中，输入层是否应该包含偏置神经元，或者这仅在隐藏层中有用？如果有，为什么？
【问题讨论】：
标签： neural-network feed-forward bias-neuron
【发布时间】：2011-11-06 16:17:27
【问题描述】：
不，输入层不需要连接到偏置神经元，因为它从偏置神经元接收到的任何激活都会被实际输入完全覆盖。
例如，假设一个网络试图解决经典的XOR problem，使用这种架构（其中刚刚标记为 1 的神经元是偏差）：
要在输入 (1,0) 上运行此网络，您只需钳制神经元 X1=1 和 X2=0 的激活。现在，如果 X1 或 X2 也收到了来自偏差的输入，那么无论如何该输入都会被覆盖，从而使这样的连接毫无意义。
【讨论】：
-
请问，在你的绘图中，偏置神经元是输入层的一部分，因为它被转发到隐藏层，我错了吗？
-
嗯，有点。偏置神经元通常总是被描述为在它自己的 lil 层中。我认为您的问题是关于是否将偏置单元连接到输入层中的单元。无论哪种情况，答案都是肯定的。您总是只需要一个具有持续激活且位于其自身层中的偏置单元。通常它连接到所有非输入层。
-
更多解释请看这个问题：stackoverflow.com/q/7175099/821806。另外，这不是我的图，而是我从这里获得的：home.agh.edu.pl/~vlsi/AI/xor_t/en/main.htm
-
上图中的输入 X1、X2 并不是真正的神经元，它们是...erm，输入。每个真正的神经元（接受输入、有权重、有激活函数、进行计算的东西）都应该有偏差。在数学上，每个神经元计算 φ(b + x1 w1 + x2 w2 + ... + xn wn)，其中 b 是偏差。但是 xi 只是数字，您无法将它们连接到任何东西。