为什么偏差比权重更频繁地变化？

Question

我正在可视化网络中完全连接部分的偏差和权重。 我看到偏差比权重更频繁地变化，我试图理解它的含义。 在这两种情况下，我只是将权重和偏差呈现为直方图。

我们在这里看到： 偏差是 1x256 参数。 weights 是 256X512 个参数的矩阵。

可能是由于大量数字恰好落在相同的箱子中，重量在可视化中几乎没有变化的原因吗？可以更好地可视化权重学习吗？或者还有其他原因。

网络的另一部分连接 16 个神经元 1 个神经元。

Answer 1

我猜这可能是由梯度消失问题引起的。如果您查看反向传播算法，您会看到权重的梯度是通过链式法则计算的，例如，this：

在哪里

所以，如果最后一层的输出值非常接近于0，那么权重的梯度也会接近于0。这样一来，权重的更新幅度就不会很大。然而，另一方面，偏差不会受到这个问题的影响，因为偏差在反向传播期间不受先前层的影响。

不熟悉的可以上网搜索一下梯度消失问题的原因。