权重，如何以矩阵形式编写？

Question

在具有 sigmoid 激活函数的神经网络的反向传播中，

权重更新规则为：

NewWeight = OldWeight - alpha * D * A

其中 alpha 是学习率，A 是前一层的激活，

D = (Y - Y')Y'(1-Y') ;D = Error Minimization, delta

其中 Y = 给定值，Y' 由输出层在神经网络中计算

在我的例子中 Y 是 4x1 = [0.3,0.2,0.4,0.1] 而 Y' 的一个实例是 4x1= [0.2,0.1,0.1,0.2]

如何计算 D = (Y - Y')Y'(1-Y')

(Y-Y') = 4x1 and Y' = 4x1, and 1 4 因此矩阵乘法是不可能的。 (1-Y') 也是 4x1。 我如何乘以 {(Y - Y'),Y',(1-Y')} 以获得 D？如果我必须执行转置，我应该转置哪个矩阵以保持净效果不变？

还是元素乘法？

Answer 1

这确实是元素乘法。您需要将每个输出误差 (Y-Y') 乘以相应输出的导数（w.r.t. 权重），即 Sigmoid 激活的 Y'(1-Y')。将其视为“已纠正的错误信号”。所以，D * A 是一个向量外积，它会给你一个与权重大小相同的矩阵。