从神经网络和深度学习中理解第 1 章示例 2答案

【问题标题】：Understanding Chapter 1 Example 2 from neuralnetworksanddeeplearning从神经网络和深度学习中理解第 1 章示例 2
【发布时间】：2016-02-13 08:01:52
【问题描述】：

我正在通过neuralnetworksanddeeplearning 的Chapter 1 并且没有理解第二个练习（模拟感知器的 Sigmoid 神经元，第二部分）

证明在 c→∞ 的极限内这个 sigmoid 网络的行为神经元与感知器网络完全相同。怎么能当其中一个感知器的 w⋅x+b=0 时失败？

我能够证明 c→∞ 的行为与感知器网络相同。但我不确定 w⋅x+b=0 失败的原因是否正确。

通过用 z = 0 代替 sigmoid 函数 (1 / (1 + e^-z)，我得到 1 / (1 + e^-0) 分解为 1 / (1 + 1) = 1/ 2

如果定义 1/2 会在神经元中触发 1，那么我不明白为什么 w⋅x+b=0 会失败。

【问题讨论】：

标签： neural-network

【解决方案1】：

您或多或少已经回答了您的问题。感知器的传递函数是阶跃函数 H(z)，当 z

【讨论】：

嘿，托马斯！谢谢你回来！但我不明白“当其中一个感知器的 w⋅x+b=0 时，这怎么会失败？”我知道 sigmoid 函数会输出 1/2，但这怎么会失败？
它未能“与感知器网络完全相同”。这意味着如果至少一个单元的传递函数的参数为零，则具有 sigmoid 单元的网络的输出会有所不同。

【解决方案2】：

图片来源：Towards Data Science

从上图中可以看出，对于 5 的值，sigmoid 函数分别输出接近 0 或 1 的值。这里 5 仅用于表示，但实际上这意味着对于 z 的极值，sigmoid 函数输出 0 或 1。

因此，在您的情况下，当您将方程 (wx + b) 与正数 c 相乘时，其中 c→∞ 的值 z = c.(wx + b) ~ -∞（对于 wx + b 0）。因此，在这两种情况下，您可以期望接近 0 或 1 的值。但是当 wx + b = 0、z = 0 和 sigmoid 函数输出 0.5 或 1/2 时，这不是感知器的特征，它被描述为“在您的问题中未能模仿感知器的行为。

【讨论】：