2个神经元的多层神经网络和1个神经元一样吗

Question

AND逻辑和OR逻辑只需1个神经元即可解决。但是，XOR 逻辑需要 2 层 3 个神经元的神经网络：

(neuron1)\
          \
           +----- (neuron3)
          /
(neuron2)/

考虑这种形式的神经网络：

(neuron1) ------- (neuron2)

这种只有 2 个相互连接的神经元的神经网络能否解决比只有 1 个神经元更好的问题？

Answer 1

2 个神经元可以比 1 个神经元更强大。

例如考虑两个具有标准rectifier nonlinearity max(0,x) 的神经元。

设输入为 x。

第一个神经元计算 y=max(0,x)

第二个神经元计算 z=max(0,1-y)

图片绘制了 y（绿色）、1-y（红色）、z（蓝色）对 x。

这表明两个神经元都使用一个简单的整流器可以构造一个更复杂的饱和非线性（由蓝线表示）。

没有办法在单个输出上运行单个整流神经元来生成蓝线（因为所有此类输出最多有两个线性段，而我们的 z 输出有三个线性段）。