Mxnet 元素明智地相乘

Question

在 MXNet 中，如果我想创建一个与每个输入相乘的权重向量，即拥有w*x_i，然后反向传播权重w，我该怎么做？

我试过了：

 y_hat = input
 w1 = mx.sym.Variable("w1")
 y_hat = mx.symbol.broadcast_mul(w1, y_hat)

Answer 1

您可以将计算转换为点积：

x = mx.nd.array([[1, 2, 3], [4, 5, 6]])
w = mx.nd.array([2,2,2])
mx.nd.dot(w, x.T)

如你所愿，将产生 [12. 30.]。

现在只需随机初始化w，计算输出和目标输出之间的损失，然后反向传播。您可以为此使用新的gluon 接口 (http://gluon.mxnet.io/)。

具体来说，让我们看一个适应http://mxnet.io/tutorials/gluon/gluon.html 和http://gluon.mxnet.io/P01-C05-autograd.html 的最小示例

准备数据

label = mx.nd.array([12,30])
x = mx.nd.array([[1, 2, 3], [4, 5, 6]])
w = random weights
w.attach_grad()

训练

with autograd.record():
    output = mx.nd.dot(w, x.T)
    loss = gluon.loss.L2Loss(output, label)
    loss.backward()

不要忘记updating the weights 与您在反向传播中计算的梯度。渐变将在w.grad 中提供。在循环中运行训练代码和权重更新，因为单个更新可能不足以收敛。