CVPR2021 DatasetGAN: 低人力生成高质量语义分割数据的突破

在2021年的计算机视觉与模式识别（Computer Vision and Pattern Recognition, CVPR）会议上，一篇名为《DatasetGAN：以最小人力实现高效标注数据工厂》的论文引起了关注。该研究主要探讨了生成对抗网络（Generative Adversarial Networks, GANs）在计算机视觉领域的应用，特别是解决大规模数据集标注困难的问题。 论文的核心创新是提出了DatasetGAN，一个通过利用生成式模型如StyleGAN生成高质量的语义分割图像的方法。传统深度学习模型在很大程度上依赖于大规模标注数据，但这项工作试图减少人力成本。DatasetGAN通过以下步骤实现这一目标： 1. 利用StyleGAN生成逼真的图像样本，同时记录其潜在特征向量。StyleGAN以其出色的图像合成能力成为基础模型。 2. 将这些合成图像展示给人类注释者，要求他们提供期望的语义分割标签。这些标签将作为训练数据的一部分。 3. 使用一个简单的多层感知器（Multilayer Perceptron, MLP）分类器集合，即StyleInterpreter，来学习如何从潜在编码中解码出与人类标签相匹配的分割信息。这一步骤旨在捕捉和理解生成图像的语义结构。 4. 在StyleInterpreter训练完成后，将其整合到StyleGAN的架构中，作为标签生成分支。这样，当从潜在空间采样并输入网络时，就能得到一个无限的数据生成器，可以生成大量标注过的图像，用于各种计算机视觉任务的训练。 实验部分展示了DatasetGAN在7个图像分割任务中的优越性能，包括人脸和汽车部分的精细像素级标注。与半监督学习方法相比，DatasetGAN在节省人力的同时，其生成的数据集在性能上能够与完全监督方法相当，甚至在某些情况下表现出更好的效果，而所需标注的数据量远少于后者。 该研究的重要性和贡献在于，它革新了生成模型在数据增强和标注方面的应用，通过自动化的手段减少了大量的人工劳动，并且生成的数据集能够支持多种计算机视觉任务的训练，从而推动了深度学习在缺乏大规模标注数据场景下的发展。