Pytorch 如何构建计算图答案

【问题标题】：How does Pytorch build the computation graphPytorch 如何构建计算图
【发布时间】：2020-08-25 05:24:41
【问题描述】：

这是来自网站的示例 pytorch 代码：

class Net(nn.Module):

def __init__(self):
    super(Net, self).__init__()
    # 1 input image channel, 6 output channels, 3x3 square convolution
    # kernel
    self.conv1 = nn.Conv2d(1, 6, 3)
    self.conv2 = nn.Conv2d(6, 16, 3)
    # an affine operation: y = Wx + b
    self.fc1 = nn.Linear(16 * 6 * 6, 120)  # 6*6 from image dimension
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)

def forward(self, x):
    # Max pooling over a (2, 2) window
    x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
    # If the size is a square you can only specify a single number
    x = F.max_pool2d(F.relu(self.conv2(x)), 2)
    x = x.view(-1, self.num_flat_features(x))
    x = F.relu(self.fc1(x))
    x = F.relu(self.fc2(x))
    x = self.fc3(x)
    return x

在 forward 函数中，我们只是对 x 应用一系列变换，但从未明确定义哪些对象是该变换的一部分。然而，在计算梯度和更新权重时，Pytorch 会“神奇地”知道要更新哪些权重以及应该如何计算梯度。

这个过程是如何工作的？是否正在进行代码分析，或者我遗漏了什么？

【问题讨论】：

我不太确定代码的哪一部分导致了这里的混乱，但返回的x 确实有关于层的信息，例如：x = self.fc3(x) 最终得到一个具有特定的nn.Linear 应用于它。如果你print(x) 你甚至可以看到它有一个grad_fn 属性。
很抱歉，但这似乎是一个编程问题，所以它是题外话。请阅读ai.stackexchange.com/help/on-topic。

标签： pytorch computation-graph

【解决方案1】：

是的，前向传球有隐式分析。检查结果张量，有 grad_fn= <CatBackward> 之类的东西，这是一个链接，允许您展开整个计算图。它是在真正的正向计算过程中构建的，无论您如何定义网络模块，以“nn”或“功能”方式面向对象。

您可以利用此图进行网络分析，就像 torchviz 在此处所做的那样：https://github.com/szagoruyko/pytorchviz/blob/master/torchviz/dot.py

【讨论】：