在神经网络中，偏差会改变激活函数的阈值吗？答案

【问题标题】：In neural networks, does a bias change the threshold of an activation function?在神经网络中，偏差会改变激活函数的阈值吗？
【发布时间】：2013-05-12 15:18:09
【问题描述】：

我已经阅读了一些关于此的其他问题（和相关答案），但我仍然有疑问：在阈值激活函数中添加偏差会改变阈值吗？据我所知，添加偏差应该会沿 x 轴移动激活函数，因此它也应该改变阈值。

假设我们只有一个输入节点和一个输出节点，输入节点有一个阈值激活函数，阈值设置为0。现在如果我们给1作为输入，神经元将激活并返回1 * weight到输出节点，但是如果我们添加一个权重为 2 的偏置节点a_0 = -1 连接到输入节点，并给之前的输入 1，神经元将不再激活，因为现在我们至少要达到2 激活它。这是否可以视为“改变”阈值？

【问题讨论】：

添加偏差可以让您学习全新的一类函数。考虑 2D 中的线性决策线：没有偏差它必须通过原点，有偏差则不受此限制。

标签： artificial-intelligence neural-network threshold perceptron bias-neuron

【解决方案1】：

您是否阅读过这些关于偏见的非常好的解释：bias explanation 和 bias explanation 2？

正如在第一个链接中所说，偏差会使曲线移动，因此计算结果会更加多样化。我认为如果您已经使用了偏差，则不需要使用阈值（将阈值设置为 0），因为偏差和阈值在沿 x 轴移动激活函数时做同样的事情。

但我认为偏差比阈值更有效。这是因为偏差值只是权重，可以像神经网络中的任何其他权重一样计算。除了权重，阈值需要单独计算。 encog forum 中有一些有趣的偏差和阈值比较。

这是一个用偏差计算的神经网络：

这是有阈值的

两者都会给出相同的结果。如果您对完整计算感兴趣，可以阅读上面的 encog wiki。

所以我认为您的问题“偏差是否会改变激活函数的阈值”的答案是肯定的。在我关于混合 GA 和 NN 的论文中，我都尝试过，最终只使用偏差并将阈值设置为 0。

希望我的回答对你有帮助，如果你对我的回答有其他问题，请随时在评论中提问：)

【讨论】：