机器学习 - 感知器答案

【问题标题】：Machine learning - perceptrons机器学习 - 感知器
【发布时间】：2014-10-10 00:47:27
【问题描述】：

假设两个感知器在来自相同线性可分分布的无限样本上运行。它们会收敛到相同的决策函数吗？它们会收敛到相同的权重向量 w 吗？我是 ML 的初学者，所以如果有人能提供详细的解释，那就太好了。

【问题讨论】：

简短回答：不。即使数据相同但以不同的顺序给出，它们最终可能会得到不同的权重向量。考虑两个类，其中确实有两个同样最好的解决方案。因此，取决于您可能会接触到的数据。
谢谢@ASantosRibeiro！我没有考虑数据的顺序。好点子！

【解决方案1】：

如果学习率足够小，它们将收敛到相同的决策边界。但是根据两个感知器的初始权重（假设它们是分别随机化的），两个感知器的最终权重可能会有所不同。请注意，与输入相关的权重是分离平面的系数，这些系数不是唯一的（例如，如果将与平面相关的系数加倍，则平面的位置不会改变）。因此，完全有可能（并且很可能）两个感知器的限制权重不相等。

【讨论】：

@Meteorite 我最初的答案不太正确，所以我修改了它并（希望）让它更清楚。