张量运算和梯度

Question

我在 youtube 上学习了一些教程，下面的代码示例用于解释衍生品

创建张量。

    x = torch.tensor(3.)

    w = torch.tensor(4., requires_grad=True)

    b = torch.tensor(5., requires_grad=True)

    x, w, b

算术运算

    y = w * x + b

    y

计算导数

    y.backward()

显示渐变

    print('dy/dx:', x.grad)

    print('dy/dw:', w.grad)

    print('dy/db:', b.grad)

输出

dy/dx：无

dy/dw:张量(3.)

dy/db:张量(1.)

谁能解释一下我们如何将张量（3.）和张量（1.）作为梯度的输出。我需要了解 pytorch 如何在幕后执行此操作。

任何帮助将不胜感激。

Answer 1

你有y = w*x + b，那么

dy/dx = w
dy/dw = x
dy/db = 1

由于您没有为 x 设置 requires_grad=True，PyTorch 不会计算 w.r.t 的导数。它。
因此，dy/dx = None

Rest 是对应张量的值。因此，最终输出为

dy/dx: None
dy/dw: tensor(3.)
dy/db: tensor(1.)