Pytorch使用Multi-gpu时成员变量的值不正确

Question

这是一个在多GPU环境中运行的简单类。第一次迭代后成员变量self.firstIter应该是False。

Class TestNetwork(nn.Module):

    def __init__(self):
        super(TestNetwork, self).__init__()
        self.firstIter = True #indicates whether it's the first iteration

    def forward(self, input):
        print 'is firstIter: ', self.firstIter #always True!!
        if self.firstIter is True:
            self.firstIter = False
        # do otherthings

仅使用一个 gpu 时，代码可以正常工作。

但是，当使用多 GPU（即nn.DataParallel）时，self.firstIter 的值始终打印为True。

为什么会这样？代码有什么问题？

使用 PyTorch 0.3.1 版。

Answer 1

基本上，DataParallel 对模型副本进行操作，如果设备数量大于 1，则对副本所做的更改（在转发期间）在向前/向后调用之外不可见。

详情请咨询https://discuss.pytorch.org/t/nonetype-attribute-when-using-dataparallel/11566。