在 Pytorch 中优化具有多任务目标的神经网络

Question

在深度学习中，您通常有一个希望优化的目标（例如图像识别）。不过，在我的领域（自然语言处理）中，我们看到了多任务训练的兴起。例如，在单个系统中进行下一句预测和句子分类。

我了解如何构建前向传球，例如用于分类任务（obj1）和回归任务（obj2）

class Net(nn.Module):
    def __init__():
        super().__init__()
        self.linear = Linear(300, 200)
        self.obj1 = Linear(200, 5)
        self.obj2 = Linear(200, 1)

    def forward(inputs):
        out = self.linear(inputs)
        out_obj1 = self.obj1(out)
        out_obj2 = self.obj2(out)
        return out_obj1, out_obj2

但是问题就变成了，如何优化这个。您是否分别对这两种损失进行了反向传递？或者你是否将它们减少到一个单一的损失（例如总和，平均）？是否有通常用于多任务学习的方法？

接下来，也许有人甚至会争辩说，不同层的参数需要不同的优化器。在这种情况下，我认为损失必须单独处理。

Answer 1

它更简单，您可以毫无问题地同时优化所有变量。只需使用各自的标准计算两个损失，将它们添加到一个变量中：

total_loss = loss_1 + loss_2

并在这个总损失上调用.backward()（仍然是张量），对两者都非常有效。您还可以对损失进行加权，以更重视其中一个而不是另一个。

查看PyTorch forums了解更多信息。