神经网络反向传播：偏差趋于无穷答案

【问题标题】：Neural Network Backpropagation: bias goes to infinity神经网络反向传播：偏差趋于无穷
【发布时间】：2011-12-11 14:55:09
【问题描述】：

我有一个用于反向传播的神经网络。

我一直在使用以下方法对隐藏层进行权重更新

Δwji = η × δj × yi

其中 δj 是 φ'(vj) * ej 其中 vj = Σi wjiyi，对于输出层和 φ'(vj) * sum(δk*wkj) 对于前一层

但是，隐藏单元的偏差之一总是趋于无穷大。它的意义是什么？

编辑：

去无穷大的值原来是来自一些神经元的一些输入值 vj。所以，这意味着我的神经网络只是在强化一个特定的神经元应该总是激发的事实？

这是否也意味着我在训练时缺乏针对这些特定输入的各种示例？

【问题讨论】：

【解决方案1】：

经过反复试验，问题是隐藏层上的神经元不足。添加等于输入一半的神经元后，我开始看到结果。很难，理想的神经元数量没有官方公式。它因每个问题而异

【讨论】：

【解决方案2】：

不能保证每个问题和每个条件下的反向传播学习的收敛性。例如，如果在权重空间中存在无限递减的某个方向，算法可能会发散。

你可以尝试降低学习率 η（通常如果这个值太高，ANN 会完全发散）或者改变你的问题编码或者增加训练集的多样性。

【讨论】：