DE-GAN提升：假象观察者解决潜在不连续性与对比学习新进展

本文主要探讨了数据高效生成对抗网络（Data Efficient GANs, DE-GANs）在面对有限训练数据时面临的挑战，特别是潜在空间的不连续性问题。DE-GANs的目标是通过少量样本训练出高质量的生成模型，然而，现有的方法往往受限于数据增强策略的局限性，这导致了训练的不稳定性和生成性能提升的瓶颈。 对比学习作为一种新兴的技术，已被证明在提升DE-GAN的整体性能方面具有巨大潜力。作者指出，现有的对比学习策略未能充分解决潜在空间的不连续性问题，这是限制生成效果的关键因素。实例扰动被发现对于增强潜在空间的连续性特别有效，因为它能够在训练过程中更好地保持模型的连贯性。 针对这些问题，作者提出了一种新的技术框架，名为FakeObserver，其核心思想是对扰动的虚假样本进行对比学习。这一方法包括三个关键技术：噪声相关的潜在增强，用于引入额外的噪声来丰富潜在空间；多样性感知队列，通过维护一个包含不同样本的动态队列，以提高生成样本的多样性；以及遗忘因子，一种机制来控制队列中样本的重要性，从而避免过度依赖某一部分样本。 实验结果显示，FakeObserver及其相关的训练技术在少镜头生成和有限数据生成任务上表现卓越，相比于现有DE-GANs，如在多个数据集上的FID分数（Frechet Inception Distance，衡量生成图像与真实数据分布的相似度）上，FakeObserver实现了超过15%的显著提升。研究者提供了GitHub代码仓库（<https://github.com/iceli1007/FakeCLR>），供读者进一步研究和应用。 总结来说，本文通过对DE-GAN中的对比学习策略进行深入分析，提出了一种创新的解决方案FakeObserver，它通过优化潜在空间的连续性和多样性的处理，有效提升了数据高效生成对抗网络在有限数据条件下的生成性能，为GAN的训练技术开辟了新的研究方向。