一、模式坍塌（Mode collapse）
GAN的模式崩溃问题，本质上还是GAN的训练优化问题，理论上说，如果GAN可以收敛到最优的纳什均衡点，那模式崩溃的问题便自然得到解决。举例如下图，红线代表生成数据的概率密度函数，而蓝线代表训练数据集的概率密度函数，本来红线只有一个模式，也就是生成器几乎只会产生一种样本，而在理论上的最优解中，红线与蓝线重合，这时候在生成器中采样自然能几乎得到三种样本，与训练集的数据表现为一致。
当然，实际中几乎不会达到全局最优解，我们看似收敛的GAN其实只是进入了一个局部最优解。
放弃寻找更优的解，只在GAN的基础上，显式地要求GAN捕捉更多的模式（如下图所示），虽然红线与蓝线的相似度并不高，但是“强制”增添了生成样本的多样性，而这类方法大都直接修改GAN的结构。
二、MAD-GAN
要介绍的MAD-GAN及其变体便是改进网络架构的代表之一
它的核心思想是这样的：即使单个生成器会产生模式崩溃的问题，但是如果同时构造多个生成器，且让每个生成器产生不同的模式，则这样的多生成器结合起来也可以保证产生的样本具有多样性，如下图的3个生成器：
需要说明一下，简单得添加几个彼此孤立的生成器并无太大意义，它们可能会归并成相同的状态，对增添多样性并无益处，例如下图的3个生成器：
理想的状态是：多个生成器彼此“联系”，不同的生成器尽量产生不相似的样本，而且都能欺骗判别器。
在MAD（Multi-agent diverse）GAN中，共包括k个初始值不同的生成器和1个判别器，与标准GAN的生成器一样，每个生成器的目的仍然是产生虚假样本试图欺骗判别器。对于判别器，它不仅需要分辨样本来自于训练数据集还是其中的某个生成器（这仍然与标准GAN的判别器一样），而且还需要驱使各个生成器尽量产生不相似的样本。