简单的感知器模型和 XOR答案

【问题标题】：simple perceptron model and XOR简单的感知器模型和 XOR
【发布时间】：2014-08-09 17:08:43
【问题描述】：

对不起，我只在这里一直问。我也会努力学习准备回答问题的！

许多论文和文章声称对 MLP 的激活函数选择没有限制。

似乎只有哪一个最适合给定条件才重要。

还有文章说它在数学上证明简单的感知器不能解决 XOR 问题。

我知道简单的感知器模型曾经使用阶跃函数作为其激活函数。

但是如果基本上使用哪个激活函数都没有关系，那么使用

f(x)=1 if |x-a|<b 
f(x)=0 if |x-a|>b

作为一个激活函数适用于 XOR 问题。（对于2输入1输出无隐藏层感知器模型）

我知道使用人工函数不利于学习模型。但如果它仍然有效，那为什么文章说它被证明它不起作用？

这篇文章是指使用阶跃函数的简单感知器模型吗？还是简单感知器的激活函数必须是不同于 MLP 的阶跃函数？还是我错了？

【问题讨论】：

【解决方案1】：

一般情况，问题是不可微的激活函数（如您提出的那个）不能用于反向传播和其他技术。反向传播是估计正确阈值的便捷方法（在您的示例中为a 和b）。选择所有流行的激活函数，以便它们在保持可微分的同时近似步进行为。

【讨论】：

【解决方案2】：

正如 bgbg 所述，您的激活是不可微分的。如果您使用 MLP 计算梯度和更新权重所需的可微激活函数，那么感知器只是拟合一条线，直观上无法解决非线性 XOR 问题。

【讨论】：