具有线性激活函数的多层感知器答案

【问题标题】：Multilayer Perceptron with linear activation function具有线性激活函数的多层感知器
【发布时间】：2016-02-28 05:33:29
【问题描述】：

来自维基百科：

如果一个多层感知器在所有神经元中都有一个线性激活函数，即一个将加权输入映射到每个神经元输出的线性函数，那么用线性代数很容易证明可以减少任意层数到标准的两层输入输出模型（参见感知器）。

我见过Multilayer Perceptron replaced with Single Layer Perceptron，我的理解是这是因为线性函数的组合可以用一个线性函数来表示，这是唯一的原因，对吗？

那么还原过程是怎样的呢？即如果我们有 3x5x2 MLP，SLP 会是什么样子？输入层的大小是否基于用于表达线性函数的参数数量，如上面链接的答案？：

f(x) = a x + b

g(z) = c z + d

g(f(x)) = c (a x + b) + d = ac x + cb + d = (ac) x + (cb + d)

所以是 4 个输入？（a, b, c, d，因为它是两个不同参数的线性函数的组合）

提前致谢！

【问题讨论】：

标签： neural-network perceptron

【解决方案1】：

大小将是 3X2，隐藏层将消失，隐藏层线性函数的所有权重都折叠为输入层的权重。在您的示例的这种情况下，有 3 乘以 5（输入到隐藏），即 15 个函数加上，5 乘以 2（隐藏到输出），即 10 个函数。所以总共有 25 个不同的线性函数。它们是不同的，因为每种情况下的权重不同。所以你描述的 f(x) 和 g(z) 不是正确的描述。

隐藏层的折叠可以通过简单地获取一个输入神经元和一个输出神经元，并通过隐藏层将连接这两个神经元的节点上的所有中间函数线性组合来完成。最后，您将获得 6 个独特的函数来描述您的 3X2 映射。

为了您自己的理解，请尝试使用简单的 2X2X1 MLP 在纸上执行此操作，每个节点具有不同的权重。

【讨论】：