WGAN 和 WGAN-GP 的区别（梯度惩罚）

Question

我只是在这里的代码中找到了：

https://github.com/NUS-Tim/Pytorch-WGAN/tree/master/models

对于 WGAN，WGAN 和 WGAN-GP 之间的“生成器”损失 G 是不同的：

g_loss = self.D(fake_images)
g_loss = g_loss.mean().mean(0).view(1)
g_loss.backward(one) # !!!
g_cost = -g_loss

但对于 WGAN-GP：

g_loss = self.D(fake_images)
g_loss = g_loss.mean()
g_loss.backward(mone) # !!!
g_cost = -g_loss

为什么一个是one=1 而另一个是mone=-1？

Answer 1

为了更新 D 网络： lossD = D（假数据）的期望 - D（真实数据）的期望 + 梯度惩罚 lossD ↓，D(真实数据) ↑

所以你需要在梯度过程中加减一

Answer 2

您可能误读了源代码，您给出的第一个示例不是对D 的结果进行平均来计算其损失，而是使用二进制交叉熵。

更准确地说：

• 第一种方法（“GAN”）使用 BCE 损失来计算 D 和 G 的损失项。 D 的标准 GAN 优化目标是最小化 E_x[log(D(x))] + E_z[log(1-D(G(z)))]。
  Source code:

  outputs = self.D(images)
  d_loss_real = self.loss(outputs.flatten(), real_labels) # <- bce loss
  real_score = outputs
  
  # Compute BCELoss using fake images
  fake_images = self.G(z)
  outputs = self.D(fake_images)
  d_loss_fake = self.loss(outputs.flatten(), fake_labels) # <- bce loss
  fake_score = outputs
  
  # Optimizie discriminator
  d_loss = d_loss_real + d_loss_fake
  self.D.zero_grad()
  d_loss.backward()
  self.d_optimizer.step()
  

  对于d_loss_real，您优化为1s（输出被认为是真实），而d_loss_fake 优化为0s（输出被认为是假 )。

• 而第二个 ("WCGAN") 使用 Wasserstein 损失 (ref)，由此我们最大化 D 损失：E_x[D(x)] - E_z[D(G(z))]。
  Source code:

  # Train discriminator
  # WGAN - Training discriminator more iterations than generator
  # Train with real images
  d_loss_real = self.D(images)
  d_loss_real = d_loss_real.mean()
  d_loss_real.backward(mone)
  
  # Train with fake images
  z = self.get_torch_variable(torch.randn(self.batch_size, 100, 1, 1))
  
  fake_images = self.G(z)
  d_loss_fake = self.D(fake_images)
  d_loss_fake = d_loss_fake.mean()
  d_loss_fake.backward(one)
  
  # [...]
  
  Wasserstein_D = d_loss_real - d_loss_fake
  

  通过执行d_loss_real.backward(mone)，您使用相反符号的梯度进行反向传播，即这是一个梯度上升，您最终会最大化d_loss_real。