pytorch中设置权重的计算图

Question

我需要澄清一下为 FastAI2 库中的某些函数编写的代码。

这是在 FastAI2 库中编写的 WeightDropout 代码。

 class WeightDropout(Module):
        "A module that warps another layer in which some weights will be replaced by 0 during training."

        def __init__(self, module, weight_p, layer_names='weight_hh_l0'):
            self.module,self.weight_p,self.layer_names = module,weight_p,L(layer_names)
            for layer in self.layer_names:
                #Makes a copy of the weights of the selected layers.
                w = getattr(self.module, layer)
                delattr(self.module, layer)
                self.register_parameter(f'{layer}_raw', nn.Parameter(w.data))
                setattr(self.module, layer, F.dropout(w.data, p=self.weight_p, training=False))
                if isinstance(self.module, (nn.RNNBase, nn.modules.rnn.RNNBase)):
                    self.module.flatten_parameters = self._do_nothing

        def _setweights(self):
            "Apply dropout to the raw weights."
            for layer in self.layer_names:
                raw_w = getattr(self, f'{layer}_raw')
                setattr(self.module, layer, F.dropout(raw_w.data, p=self.weight_p, training=self.training))

        def forward(self, *args):
            self._setweights()
            with warnings.catch_warnings():
                #To avoid the warning that comes because the weights aren't flattened.
                warnings.simplefilter("ignore")
                return self.module.forward(*args)

        def reset(self):
            for layer in self.layer_names:
                raw_w = getattr(self, f'{layer}_raw')
                setattr(self.module, layer, 
    F.dropout(raw_w.data, p=self.weight_p, training=False))
            if hasattr(self.module, 'reset'): self.module.reset()

        def _do_nothing(self): pass

上面的代码在weight隐藏层矩阵中随机降低权重。我主要感兴趣的是，

 def _setweights(self):
                "Apply dropout to the raw weights."
                for layer in self.layer_names:
                    raw_w = getattr(self, f'{layer}_raw')
                    setattr(self.module, layer, F.dropout(raw_w.data, p=self.weight_p, training=self.training))

我的问题是，这种改变权重的操作是否记录在梯度计算中。

Answer 1

不，计算图中不会跟踪分配新权重，因为分配没有导数，因此不可能通过它获得梯度。

那为什么该代码有效？该模型不会覆盖实际参数，而是使用修改后的版本进行计算，同时保持原始权重不变。有点晦涩，但最重要的部分是在创建模型时复制参数：

#Makes a copy of the weights of the selected layers.
w = getattr(self.module, layer)
delattr(self.module, layer)
self.register_parameter(f'{layer}_raw', nn.Parameter(w.data))

这里发生的情况是，为每个参数创建一个以_raw 结尾的副本。例如，如果您的模型上有一个线性层（例如self.linear1 = nn.Linear(2, 4)，您有两个参数，名称为linear1.weight 和linear1.bias。现在它们被复制到linear1.weight_raw 和linear1.bias_raw。准确地说，它们不会被复制，而是重新分配给*_raw 属性，然后删除原始属性，因此它们只是从原始版本移动到原始版本。需要删除原始版本，因为它们不再是参数（这将被优化/学习）。

之后，当应用 dropout 时，优化/学习的参数（*_raw 版本）不变，但用于实际计算的权重是随机丢弃的权重。在带有线性层的示例中，如果您手动进行计算，则如下所示：

# A dummy input
input = torch.randn(1, 2)

# The raw parameters of the linear layer, randomly initialised
weight_raw = nn.Parameter(torch.randn(4, 2))
bias_raw = nn.Parameter(torch.randn(4))

# Randomly dropping elements of the parameters with 50% probability
weight = F.dropout(weight_raw, p=0.5)
bias = F.dropout(bias_raw, p=0.5)

# Calculation of the linear layer (forward)
output = torch.matmul(input, weight.transpose(0, 1)) + bias

从这里你可以看到并没有实际的重新分配，而只是你熟悉的常规计算流程。

现在您可能想知道为什么要创建这些 *_raw 参数，而不是在前向传递中应用 dropout（如上例所示）。这样做的原因是为了避免重新实现前向传递，否则每个模块都需要修改它们的前向方法，但是由于它们在模块之间存在很大差异，因此不能以通用方式完成。这种方法本质上是劫持了参数，因此前向传递使用了它们的修改版本。

继续上面的例子：

# Using the actual module for the same calculation
linear1 = nn.Linear(2, 4)

# Delete the parameters, so that regular tensors can be assigned to them
# Otherwise it throws an error that the tensor is not an nn.Parameter
del linear1.weight
del linear1.bias

# Assign the parameters with dropped elements
linear1.weight = weight
linear1.bias = bias

# Run the forward pass directly
output_linear1 = linear1(input)

torch.equal(output, output_linear1) # => True

底线是从模块中提取参数，前向传递使用修改版本（dropout后）进行计算，它们不再是参数而是中间结果。