反向传播如何在 Torch 7 中工作？答案

【问题标题】：How backpropagation works in torch 7?反向传播如何在 Torch 7 中工作？
【发布时间】：2015-09-15 23:55:54
【问题描述】：

我试图通过 Torch 教程理解监督学习。

http://code.madbits.com/wiki/doku.php?id=tutorial_supervised

和反向传播：

http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

据我所知，这个torch教程中的参数更新是在第4步训练过程中，

output = model:forward(inputs[i])
df_do = criterion:backward(output, targets[i])
model:backward(inputs[i], df_do)

例如，我得到了这个

output = -2.2799
         -2.3638
         -2.3183
         -2.1955
         -2.3377
         -2.3434
         -2.3740
         -2.2641
         -2.3449
         -2.2214
         [torch.DoubleTensor of size 10]

targets[i] = 9

df_do 是这个吗？

0
0
0
0
0
0
0
0
-1
0
[torch.DoubleTensor of size 10]

我知道这个例子中目标是9，输出是4，所以结果是错误的，给df_do的第9个元素“-1”。

但是为什么呢？

根据http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html，

df_do 是 [目标（期望的输出） - 输出]。

【问题讨论】：

标签： backpropagation torch

【解决方案1】：

在 Torch 中反向传播的工作方式与在数学中完全一样。 df_do 是损失 w.r.t 的 导数。预测，因此完全由您的loss function 定义，即nn.Criterion。最著名的是均方误差 (nn.MSECriterion)：

请注意，MSE 标准期望目标具有与预测相同的大小（用于分类的 one-hot 向量）。如果您选择 MSE，您的导数向量 df_do 将计算为：

但是，MSE 标准通常不太适合分类。更合适的是似然准则，它以probability vector 作为预测，以真实类的标量索引作为目标。目的是简单地最大化真实类的概率，即最小化其负类：

如果我们给它对数概率向量 qua 预测（它是单调变换，因此不会影响优化结果，但计算更稳定），我们将得到负对数似然损失函数 (nn.ClassNLLCriterion)：

在这种情况下，df_do 如下：

在火炬教程NLL criterion is used by default.

【讨论】：