卷积神经网络中的权重和输出值

Question

我想知道卷积神经网络中权重和输入的值范围是多少。我的理解如下：

如果输入是灰度图像，则第一层的输入值为 0-255。但在后续层中，由于 sigmoid 函数，输入值的范围为 0-1。

但是权重的范围是多少？是0-1，还是可以更高？这变化很大吗？

Answer 1

由于使用的是sigmoid函数，所以权重通常在-∞到+∞之间，因为-∞的sigmoid接近0，+∞的sigmoid接近1，你需要有接近0的能力和接近 1 的值作为神经元的输出。

是的，重量变化很大。 您训练 NN 的次数越多，权重就越接近它们的“需要”值。

例如，如果一个神经元需要输出 0，理想值是 -∞，因为 sigmoid(-∞) = 0。你训练的越多，权重就越接近 -∞。