我想冻结我的一些模型。按照官方文档：
with torch.no_grad():
linear = nn.Linear(1, 1)
linear.eval()
print(linear.weight.requires_grad)
但它会打印 True 而不是 False。如果我想将模型设置为eval模式，我该怎么办？
【问题讨论】：
标签： python pytorch gradient-descent
如果您想冻结部分模型并训练其余部分，可以将要冻结的参数的requires_grad 设置为False。
例如，如果你只想保持 VGG16 的卷积部分固定：
model = torchvision.models.vgg16(pretrained=True)
for param in model.features.parameters():
param.requires_grad = False
通过将requires_grad 标志切换为False，将不会保存任何中间缓冲区，直到计算到达某个操作的输入之一需要梯度的点。
使用上下文管理器torch.no_grad 是实现该目标的另一种方法：在no_grad 上下文中，所有计算结果都将具有requires_grad=False，即使输入具有requires_grad=True。请注意，您将无法将渐变反向传播到no_grad 之前的图层。例如：
x = torch.randn(2, 2)
x.requires_grad = True
lin0 = nn.Linear(2, 2)
lin1 = nn.Linear(2, 2)
lin2 = nn.Linear(2, 2)
x1 = lin0(x)
with torch.no_grad():
x2 = lin1(x1)
x3 = lin2(x2)
x3.sum().backward()
print(lin0.weight.grad, lin1.weight.grad, lin2.weight.grad)
输出：
(None, None, tensor([[-1.4481, -1.1789],
[-1.4481, -1.1789]]))
这里 lin1.weight.requires_grad 是 True，但没有计算梯度，因为操作是在 no_grad 上下文中完成的。
如果您的目标不是微调，而是将模型设置为推理模式，最方便的方法是使用torch.no_grad 上下文管理器。在这种情况下，您还必须将模型设置为 评估 模式，这是通过在 nn.Module 上调用 eval() 来实现的，例如：
model = torchvision.models.vgg16(pretrained=True)
model.eval()
此操作将层的属性self.training 设置为False，实际上这将改变Dropout 或BatchNorm 等操作的行为，这些操作在训练和测试时的行为必须不同。
【讨论】：
torch.no_grad() 上下文管理器和t.requires_grad=False 之间是否存在效率差异，尤其是在内存效率方面？正如你之前提到的，t.requires_grad=False，不会保存中间缓冲区，会不会更高效？
这里是路；
linear = nn.Linear(1,1)
for param in linear.parameters():
param.requires_grad = False
with torch.no_grad():
linear.eval()
print(linear.weight.requires_grad)
输出：错误
【讨论】：
要完成@Salih_Karagoz 的回答，您还拥有torch.set_grad_enabled() 上下文（更多文档here），可用于在训练/评估模式之间轻松切换：
linear = nn.Linear(1,1)
is_train = False
for param in linear.parameters():
param.requires_grad = is_train
with torch.set_grad_enabled(is_train):
linear.eval()
print(linear.weight.requires_grad)
【讨论】：
很好。诀窍是检查当你定义一个线性层时，默认情况下参数将有requires_grad=True，因为我们想学习，对吧？
l = nn.Linear(1, 1)
p = l.parameters()
for _ in p:
print (_)
# Parameter containing:
# tensor([[-0.3258]], requires_grad=True)
# Parameter containing:
# tensor([0.6040], requires_grad=True)
另一个构造，
with torch.no_grad():
意味着你不能在这里学习。
所以你的代码只是表明你有学习能力，即使你在torch.no_grad()禁止学习。
with torch.no_grad():
linear = nn.Linear(1, 1)
linear.eval()
print(linear.weight.requires_grad) #true
如果你真的打算关闭 requires_grad 的 weight 参数，你也可以这样做：
linear.weight.requires_grad_(False)
或
linear.weight.requires_grad = False
所以你的代码可能会变成这样：
with torch.no_grad():
linear = nn.Linear(1, 1)
linear.weight.requires_grad_(False)
linear.eval()
print(linear.weight.requires_grad)
如果您打算为模块中的所有参数切换到 requires_grad：
l = nn.Linear(1, 1)
for _ in l.parameters():
_.requires_grad_(False)
print(_)
【讨论】：
这个tutorial 可能会有所帮助。
简而言之，我认为这个问题的一个好方法可能是：
linear = nn.Linear(1,1)
for param in linear.parameters():
param.requires_grad = False
linear.eval()
print(linear.weight.requires_grad)
【讨论】：