2. Cityscapes
需求(见图)(七).我们的ISSA也是一种基于样式的
数据增强技术。受益于最先进的GAN的使用,它可以
生成看起来自然的样本,仅改变原始图像的风格,同
时保留其内容,从而能够重新使用地面实况标签地
图。
GAN反演。GAN反演在人脸编辑等应用中取得了良好
的效果 [1,2,87],图像恢复[54]和数据增强-
tation [21,53]. StyleGAN [37然而,存在已知的失真-
可编辑性权衡[64]。因此,为特定用例实现精心策划
的性能是至关重要的
GAN反演方法可以分为三组:基于优化的方法[1,
2,13,15,23,35],
基于编码器的模型[5,57,64,71,76]方法,和hy-
[3,9,18,58].优化方法通常具有较差的可编辑性,
并且需要对每个输入进行穷举因此,在本文中,我们
使用基于编码器的方法来实现我们的风格混合目的。
基于工作pSp编码器的代表性编码器[57]将输入图像嵌
入StyleGAN的扩展潜在空间
+
中。e4e编码器[64]提高
了pSp的可编辑性,同时牺牲了细节保留。为了提高重
建质量,嵌入式编码器[76]进一步用特征图预测替换
较低的尽管取得了很大进展,但大多数先前的工作仅
展示了以单个对象为中心的数据集上的应用程序,例
如FFHQ [38],LSUN [78]。 它们在更复杂的场景中仍
然失败,因此
限制其在实践中的应用。我们的掩蔽噪声编码器可以
满足保真度和风格混合能力的要求,使自己非常适合
语义分割的数据增强。据我们所知,我们的方法是第
一个GAN反演方法,可以有效地应用于复杂场景的语
义分割的数据增强。
3.
方法
我们将在第二节介绍源代码内风格增强(ISSA)。
3.1,它依赖于GAN反演,可以提供图像的忠实重建和
风格混合为了实现更好的风格-内容解纠缠,我们提出
了一个掩蔽噪声编码器,用于在第二节中进行GAN反
转。3.2.其详细的训练损失在第二节中描述。三点三
3.1.
源内风格增强(ISSA)
训练集中数据多样性的缺乏和虚假相关性的存在往
往导致领域泛化能力差为了减轻它们,
ISSA
旨在修改
训练样本的样式,同时保留其语义内容。它采用GAN
反演来随机化训练集中的风格-内容组合。在这样做的
过程中,它使源训练集多样化,并减少虚假的风格-内
容相关性。因为图像的内容被保留并且仅样式被改
变,所以地面实况标签图可以被重新用于训练,而不
需要任何进一步的注释工作。
ISSA
建立在基于编码器的GAN反演流水线之上,具
有快速推理能力。GAN,如Style-GAN [37