pytorch中if-else语句和torch.where有什么区别？

Question

见代码sn-p：

import torch
x = torch.tensor([-1.], requires_grad=True)
y = torch.where(x > 0., x, torch.tensor([2.], requires_grad=True))
y.backward()
print(x.grad)

输出是tensor([0.])，但是

import torch
x = torch.tensor([-1.], requires_grad=True)
if x > 0.:
    y = x
else:
    y = torch.tensor([2.], requires_grad=True)
y.backward()
print(x.grad)

输出是None。

我很困惑为什么torch.where 的输出是tensor([0.])？

更新

import torch
a = torch.tensor([[1,2.], [3., 4]])
b = torch.tensor([-1., -1], requires_grad=True)
a[:,0] = b

(a[0, 0] * a[0, 1]).backward()
print(b.grad)

输出为tensor([2., 0.])。 (a[0, 0] * a[0, 1]) 与b[1] 没有任何关系，但b[1] 的梯度是0 而不是None。

Answer 1

基于跟踪的 AD，如 pytorch，由 tracking 工作。您无法跟踪不是库拦截的函数调用的内容。通过使用这样的if 语句，x 和y 之间没有任何联系，而where、x 和y 在表达式树中被链接。

现在，对于差异：

• 在第一个 sn-p 中，0 是函数 x ↦ x > 0 ? x : 2 在点 -1 处的正确导数（因为负侧是常数）。
• 在第二个 sn-p 中，正如我所说，x 与y 没有任何关系（在else 分支中）。因此，y给定x的导数是未定义的，表示为None。

（你甚至可以在 Python 中做这样的事情，但这需要更复杂的技术，比如源代码转换。我不认为 pytorch 可以做到。）