【发布时间】：2020-02-12 04:55:34
【问题描述】：
确实，即使激活函数的值在 -10 到 10 之间，这也会使网络更加灵活，在我看来。毕竟，问题不能只在于没有合适的公式。请解释我缺少什么。
【问题讨论】：
标签： machine-learning neural-network computer-vision
【发布时间】：2020-02-12 04:55:34
【问题描述】：
神经网络中特定节点的激活函数取上一层的加权和。
如果前一层是具有激活函数的层，那么它将只是节点和权重的加权和，这些节点和权重已被每个节点上的前一个激活函数所抵消。如果此激活函数是 squashing 函数，例如 sigmoid，则加权和中的所有操作数在相加之前会被 squashing 为较小的数字。
如果您在前一层中只有几个节点，那么通过激活函数传递给当前节点的数量可能会很小。但是，如果上一层的节点数量多，那么数量就不一定少了。
神经网络中激活函数的输入取决于：
- 上一层的大小
- 上一层的激活函数
- 连接这些层的权重值
- 上一层节点的值
因此，传递给激活函数的值实际上可以是任何值。
【讨论】：