PyTorch 梯度计算给出了意想不到的结果

Question

以下代码旨在解释 PyTorch 梯度计算的工作原理，IMO 应该返回权重矩阵，但它没有：

# the code calculates T x W + B ---> K1
# compute the mean of K1 --> km
# compute the gradient of km relative to T
#
import torch
torch.manual_seed(0)
t = torch.rand(2,3)
w = torch.rand(3,4)
b = torch.rand(1,4)
#
k1 = torch.mm(t, w) + b
#
#torch.set_grad_enabled(True)
print('k1_grad_fn ',k1.grad_fn)
#
print('t grad ',t.grad)
#
#
km = k1.mean()
km.requires_grad_(True)
print('k1 mean=',km)
km.backward()
print('t grad ',t.grad)
print('k1 grad ',k1.grad_fn)

结果是：

t grad  None
k1 mean= tensor(1.0396, requires_grad=True)
t grad  None
k1 grad  None```

Answer 1

不奇怪，应该是indicated by Autograd Mechanics in PyTorch documentation：

在子图中永远不会执行向后计算，其中所有 张量不需要梯度。

设置km.required_grad_(True) 会创建一个子图（只有一个操作是k1 张量的平均值）所以你得到k1_mean.grad。请注意k1 grad 在这种情况下也将是None，因为它不需要渐变。

默认情况下tensor 将required_grad 设置为False，因此图形不必执行不必要的操作。要获得您想要的行为，请将您的 t 更改为：

t = torch.rand((2, 3), requires_grad=True)

（每个张量函数都有requires_grad 参数）。正如您可能预期的那样，这给了您：

k1_grad_fn  <AddBackward0 object at 0x7fe3454d6100>
t grad  None
k1 mean= tensor(1.0396, grad_fn=<MeanBackward0>)
t grad  tensor([[0.3093, 0.1177, 0.2888],
        [0.3093, 0.1177, 0.2888]])
k1 grad  <AddBackward0 object at 0x7fe3454d6100>