【问题标题】:Why is weight vector orthogonal to decision plane in neural networks为什么权重向量与神经网络中的决策平面正交
【发布时间】:2012-04-16 15:44:47
【问题描述】:

我是神经网络的初学者。我正在学习感知器。 我的问题是为什么权重向量垂直于决策边界(超平面)? 我参考了很多书,但都提到权重向量垂直于决策边界,但没有人说为什么?

谁能给我解释或参考一本书?

【问题讨论】:

标签: machine-learning neural-network artificial-intelligence perceptron biological-neural-network


【解决方案1】:

权重只是定义分离平面的系数。暂时忘记神经元,只考虑 N 维平面的几何定义:

w1*x1 + w2*x2 + ... + wN*xN - w0 = 0

您也可以将其视为点积:

w*x - w0 = 0

其中w 和x 都是长度为N 的向量。这个方程适用于平面上的所有点。回想一下,我们可以将上面的方程乘以一个常数,它仍然成立,所以我们可以定义常数,使得向量w 具有单位长度。现在,拿出一张纸,画出你的x-y 坐标轴(上面等式中的x1 和x2)。接下来,在原点附近的某处画一条线(2D 中的平面)。 w0 只是从原点到平面的垂直距离,w 是从原点沿该垂线指向的单位矢量。如果现在从原点到平面上的任何点绘制一个向量,该向量与单位向量w 的点积将始终等于w0,所以上面的等式成立,对吧?这只是平面的几何定义:一个单位向量定义了平面的垂线 (w) 和原点到平面的距离 (w0)。

现在我们的神经元只是表示与上述相同的平面,但我们只是对变量的描述略有不同。我们将x 的组件称为我们的“输入”,将w 的组件称为我们的“权重”,我们将距离w0 称为偏差。仅此而已。

稍微超出您的实际问题,我们并不真正关心飞机上的点。我们真的很想知道一个点落在平面的哪一侧。虽然w*x - w0 在平面上正好为零,但平面一侧的点为正值,另一侧的点为负值。这就是神经元的激活功能发挥作用的地方,但这超出了您的实际问题。

【讨论】:

  • 非常棒的解释。这使得维基百科上的算法非常有意义。你能解释一下那个算法和这个算法之间的区别吗:cs.princeton.edu/courses/archive/fall16/cos402/lectures/…(幻灯片 25)?在这里,我们采用w^T 的点积——我假设我的教授在 LaTeX 中的意思是 w^{\bot}——然后更新 w。但是根据您的解释,我们对w 进行点积,然后更新w。我错过了什么吗?
  • 谢谢。第 25 张幻灯片上的指数中的“T”表示“转置”,因为w 是一个向量。所以 $w^{T}x_{i}$(在 LaTeX 中)只是 w 和 x_i 的点积。
  • w0与原点和平面的垂直距离如何?
  • 如果你现在画一个从原点到平面上任意一点的向量,这个向量与单位向量 w 的点积总是等于 w0,所以上面的等式成立,对吧? 为什么会这样?
  • @information_interchange 因为方程只是平面定义的 Hesse 范式。关于黑森范式的详细解释和推导,请参见我之前评论中的链接。
【解决方案2】:

直观地说,在二元问题中,权重向量指向“1”类的方向,而“0”类则指向远离权重向量的方向。因此,决策边界应垂直于权重向量。

查看图片中的简化示例:您有一个只有 1 个输入的神经网络,因此具有 1 个权重。如果权重为 -1(蓝色向量),则所有负输入都将变为正,因此整个负谱将分配给“1”类,而正谱将是“0”类。因此,2 轴平面中的决策边界是通过原点的垂直线(红线)。简单来说就是垂直于权重向量的直线。

让我们用几个值来看看这个例子。如果所有inputs * weights 的总和大于 0(默认阈值),则感知器的输出为 1 类,否则如果输出小于 0 的阈值,则该类为 0。您的输入值为 1。应用于这个单一输入的权重是 -1,所以 1 * -1 = -1 小于 0。因此输入被分配为 0 类(注意:0 类和 1 类可能刚刚被称为 A 类或 B 类,不要混淆它们与输入和权重值)。反之,如果输入是-1,那么input * weight就是-1 * -1 = 1,大于0,所以输入被分配到类1。如果你尝试每一个输入值,你会看到这个中所有的负值示例的输出大于 0,因此它们都属于 1 类。所有正值的输出都小于 0,因此将被归类为 0 类。画出分隔所有正输入值和负输入值的线(红线),你会看到这条线垂直于权重向量。

还要注意,权重向量仅用于修改输入以适应所需的输出。没有权重向量会怎样?输入为 1,输出为 1,大于阈值 0,因此类为 '1'。

this page 上的第二张图片显示了一个带有 2 个输入和一个偏差的感知器。第一个输入与我的示例具有相同的权重,而第二个输入的权重为 1。因此,如图所示,相应的权重向量与决策边界一起发生了变化。由于增加了 1 的偏差,决策边界也向右平移。

【讨论】:

  • 您好,非常感谢您的回答。我还是不相信。为什么权重向量总是指向“1-class”?以及为什么它应该是垂直的。如果你能提供一个数学证明,我会很高兴:-)
  • 我已经扩展了我的答案。是不是变得更清楚了?还是您还有具体问题?
  • 嗨,我知道这个关于神经元激活的数学。我怀疑第一段本身。我想知道为什么权重向量垂直于决策边界。你说权重向量指向第 1 类的方向,为什么?因此权重向量应该是垂直的。为什么?你能在数学上告诉我权重向量垂直于决策边界吗?我很抱歉,但我不明白为什么权重向量指向 class-1 :(
  • 我再次扩展了答案。我不确定我能否更好地解释它。这真的很简单,没有魔法发生。多读几遍答案,自己尝试一些计算。
【解决方案3】:

这是从更基本的线性代数/微积分的角度出发的观点:

平面的一般方程是Ax + By + Cz = D(可以扩展到更高的维度)。可以从这个方程中提取法向量:[A B C];它是与平面上所有其他向量正交的向量。

现在如果我们有一个权重向量 [w1 w2 w3],那么 w^T * x >= 0(得到正分类)和 w^T * x = d。现在,你知道我要去哪里了吗?

权重向量与第一部分的法线向量相同。正如我们所知,这个法线向量(和一个点)定义了一个平面:这正是决策边界。因此,因为法向量与平面正交,所以权向量也与决策边界正交。

【讨论】:

    【解决方案4】:
    1. 从最简单的形式开始,ax + by = 0,权向量为[a, b],特征向量为[x, y]
    2. 那么y = (-a/b)x是斜率-a/b的决策边界
    3. 权重向量有斜率b/a
    4. 如果将这两个斜率相乘,结果为-1
    5. 这证明决策边界垂直于权重向量

    【讨论】:

      【解决方案5】:

      虽然这个问题是2年前提出的,但我想很多学生都会有同样的疑问。我得到了这个答案,因为我问了同样的问题。

      现在,想想X,Y(笛卡尔坐标系是一个坐标系,它通过一对数值坐标唯一地指定平面中的每个点,这些坐标是从该点到两条固定垂直有向线的有符号距离[ from Wikipedia])。

      如果 Y = 3X,在几何中 Y 垂直于 X,那么令 w = 3,然后 Y = wX,w = Y/X,如果我们想绘制 X 之间的关系,w 我们将有两条垂直线就像我们画X,Y之间的关系一样。所以总是认为w系数垂直于X和Y。

      【讨论】:

        猜你喜欢
        • 2016-04-07
        • 1970-01-01
        • 1970-01-01
        • 2017-02-13
        • 1970-01-01
        • 2019-05-05
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多