感知器中的阈值有什么意义？答案

【问题标题】：What's the point of the threshold in a perceptron?感知器中的阈值有什么意义？
【发布时间】：2011-09-27 03:24:07
【问题描述】：

我无法看到阈值在单层感知器中的实际作用。无论阈值是多少，数据通常都是分开的。似乎较低的阈值可以更平均地划分数据；这是它的用途吗？

【问题讨论】：

【解决方案1】：

在每个节点中计算权重和输入的乘积之和，如果该值高于某个阈值（通常为 0），则神经元触发并取激活值（通常为 1）；否则，它采用停用的值（通常为 -1）。具有这种激活功能的神经元也称为人工神经元或线性阈值单元。

【讨论】：

这个我明白，但是改变阈值有什么意义呢？无论如何，训练集都允许分离点。阈值是任意的吗？
好吧，你可以“训练”阈值，让它变得动态而不是暗示性的。一开始您可以将其设置为几乎随机或为零。
哦，我明白了。所以本质上，改变阈值等同于改变偏差，但是是负面的（因为它们在等式的相反两侧）？
不断变化的偏见引起了我的共鸣。所以本质上你正在改变分隔线？那条线的斜率怎么样？
所以当我们在训练中使用 0 以外的阈值时，我们也使用相同的阈值对新的未见样本进行分类，对吧？例如，如果我们将阈值选择为 10，那么我们使用相同的阈值 10 来决定未见过的样本属于哪个类，对吧？

【解决方案2】：

在 Daok 的帮助下，我想我现在明白了。我只是想添加信息以供其他人查找。

单层感知器的分离器方程为

Σw_jx_j+bias=阈值

这意味着如果输入高于阈值，或者

Σw_jx_j+bias>阈值，归为一类，如果

Σw_jx_j+bias

偏差和阈值确实有相同的目的，翻译线（见Role of Bias in Neural Networks）。但是，由于处于等式的相反两侧，它们是“负比例的”。

例如，如果偏差为 0，阈值为 0.5，这将等效于偏差为 -0.5，阈值为 0。

【讨论】：

这个视频对我帮助很大：youtu.be/dXuNAkHsos4。我将其解释为，除了根据输入数据向量的角度旋转权重向量之外，我们还希望对是否应将权重向量翻转 180 度到相反的镜像象限进行二进制确定决策边界的一侧。因此，阈值有助于我们确定旋转角度的符号。

【解决方案3】：

实际上，您只需在不使用偏差时设置阈值。否则，阈值为 0。

请记住，单个神经元用超平面划分您的输入空间。好吗？

现在想象一个神经元有 2 个输入 X=[x1, x2]、2 个权重 W=[w1, w2] 和阈值 TH。该等式显示了该神经元的工作原理：

x1.w1 + x2.w2 = TH

这等于：

x1.w1 + x2.w2 - 1.TH = 0

即，这是您的超平面方程，它将划分输入空间。

请注意，如果您手动设置阈值，这个神经元就会起作用。解决办法是把 TH 换成另一个权重，所以：

x1.w1 + x2.w2 - 1.w0 = 0

1.w0 一词是您的 BIAS。现在您仍然可以在输入空间中绘制平面，而无需手动设置阈值（即阈值始终为 0）。但是，如果您将阈值设置为另一个值，权重只会自行调整以调整方程，即权重 (INCLUDING BIAS) 会吸收阈值影响。

【讨论】：