我正在研究 WGAN，并希望实现 WGAN-GP。
在其原始论文中，由于 1-Lipschitiz 约束，WGAN-GP 使用梯度惩罚来实现。但是像 Keras 这样的包可以将梯度范数剪裁为 1（根据定义，这相当于 1-Lipschitiz 约束），那么我们为什么还要费心惩罚梯度呢？我们为什么不直接剪掉渐变呢？
【问题讨论】：
标签： machine-learning gradient-descent generative-adversarial-network
原因是，从数学意义上说，剪裁通常是一个相当硬的约束，而不是在实现复杂性的意义上。如果您查看原始 WGAN 论文，您会注意到剪辑过程输入模型的权重和一些超参数 c，这些参数控制剪辑的范围。
如果 c 很小，那么权重将被严格限制在一个很小的值范围内。问题是如何确定一个合适的 c 值。这取决于您的模型、问题中的数据集、训练过程等等。那么为什么不尝试软惩罚而不是硬剪辑呢？这就是为什么 WGAN-GP 论文向损失函数引入了额外的约束，强制梯度的范数尽可能接近 1，避免硬塌陷到预定义的值。
【讨论】：
CaptainTrunky 的回答是正确的，但我还想指出一个非常重要的方面。
引用原始 WGAN-GP 论文：
通过权重裁剪实现 k-Lipshitz 约束会使批评者偏向于更简单的函数。如前文 [推论 1] 所述，最优 WGAN 评论家在 Pr 和 Pg 下几乎处处都有单位梯度范数；在权重裁剪约束下，我们观察到我们试图达到最大梯度范数 k 的神经网络架构最终会学习到极其简单的函数。
因此，您可以看到重量限制可能（这取决于您要生成的数据 - 本文的作者表示它并不总是这样）导致不良行为。当您尝试训练 WGAN 以生成更复杂的数据时，该任务很有可能失败。
【讨论】：