WGAN与GAN的区别

WGAN（Wasserstein生成对抗网络）与传统的GAN（生成对抗网络）相比有一些重要的区别。

1. 损失函数：WGAN使用Wasserstein距离（或称为地球距离）作为衡量真实数据分布和生成数据分布之间差异的指标，而传统GAN使用JS散度（或KL散度）。Wasserstein距离在理论上更好地衡量了两个分布之间的差异，并且对梯度消失问题更加鲁棒。

2. Critic网络：WGAN引入了一个Critic网络，用于估计生成器生成的数据与真实数据之间的Wasserstein距离。Critic网络不再被视为“对抗”的一方，而是作为一个函数来评估数据分布之间的差异。这种改变使得训练更加稳定，因为Critic网络没有像传统GAN中的鉴别器那样需要进行二分类。

3. 梯度惩罚：为了满足Wasserstein距离的导数连续性要求，WGAN引入了梯度惩罚机制。通过在真实样本和生成样本之间的采样点上计算Critic网络的梯度，并将其应用于损失函数中，以约束梯度范数，从而提供更稳定的训练。

4. 训练的稳定性：由于Wasserstein距离的性质，WGAN通常比传统GAN具有更稳定的训练过程。传统GAN可能会遇到模式崩溃（mode collapse）的问题，即生成器只能生成有限种类的样本。WGAN通过改变损失函数和训练方法，可以减轻这个问题。

总而言之，WGAN通过使用Wasserstein距离、引入Critic网络和梯度惩罚机制，以及改变训练过程，解决了传统GAN中存在的一些问题，提供了更稳定和可靠的生成模型训练方法。