GAN反演驱动的多类别草图生成新法：MC-SBIG

PDF格式 | 856KB | 更新于2025-01-16 | 92 浏览量 | 举报

"基于GAN反演的多类草图生成方法（MC-SBIG）是一项创新性研究，由北京航空航天大学的研究团队提出。这项工作旨在解决多类草图图像生成这一具有挑战性的任务，其中草图和自然图像之间的差异显著，使得传统的基于学习方法，如依赖大量配对数据集来学习两者间映射的方式遇到了困难，因为公共配对的草图和照片数据极其有限。 MC-SBIG的核心思想在于利用生成对抗网络（GAN）的反演技术，这种方法的优势在于能够利用预先训练的强大图像生成器的先验知识，从而避免了直接从草图到高维自然图像的复杂映射问题。通过这种方式，模型可以更专注于学习草图到低维潜在代码的转换，这个过程相对更容易掌握。研究者们还引入了一种新的形状损失，旨在进一步提升生成图像的质量。实验结果显示，他们的方法能够生成既忠实于草图细节又具备照片级真实感的图像，明显优于现有基线方法。这项工作的应用领域广泛，特别是在动画、时尚和教育等领域，对基于草图的图像生成和3D形状生成等任务具有重要意义。具体来说，多类SBIG与单类SBIG不同，它处理的是多个类别，如面部图像生成和时尚图像生成。DeepFaceDrawing和相关研究展示了如何利用草图进行细致的类别控制，而多类SBIG则需要模型具备更强的泛化能力，能够适应不同类别对象的生成。 MC-SBIG不仅突破了数据限制，还优化了图像生成流程，为多类草图到图像的转化提供了一个有效且先进的解决方案，对计算机视觉和计算机图形学领域的发展产生了积极影响。"

4321

（一）

重建图像

（

）第（

）款

重建图像

以及多模式学习，这一点越来越受到社会的关注。

现有三种类型的反演方法[53]。（i）基于学习的

GAN反演[3，38，61]：该方法首先生成具有随机采样

的潜在代码的图像集合，然后分别使用图像和代码作

为输入和监督，以训练将图像映射到代码的编码器。

(ii)基于优化的GAN反演[1，2 ，11，31，36， 42，

50]：该方法通过直接优化潜在代码来一次处理单个实

例，以最小化(iii)混合GAN反演[3，4，21，60，61]：

该方法结合了

图2.（a）典型的GAN反转过程：将图像反转到潜在空间并

重建它。（

）我们的基于草图的图像生成方法：将草图映

射到生成器的潜空间并生成图像。通过重建，我们训练我们

的模型在草图照片数据集上学习这种映射

GAN可以直接学习从草图到照片的像素级翻译。根据

生成图像的类型，此任务可分为三类：（i）人脸图像

生成[8，30];（ii）场景级图像生成[18];

(iii)对象级图像生成[10，18，19，33，34，54]。有两

种类型的对象级草图到图像生成，

（i）单类图像生成：[33]建议

两阶段模型，用于在单个类中具有参考图像的无监督

草图到照片生成。他们采用CycleGAN[62]作为基线，

并以自我监督的方式进行培训(ii)多类别图像生成：[10]

使用带有Masked Residual Unit块的generator从50个类

生成图像。[18]将图像和边缘映射联合学习到共享的

潜在空间中，在该潜在空间中，矢量可以从交叉模态

数据中编码高级属性信息。[54]采用CycleGAN[62]作

为基线，并提出了开放域优化策略。[19]使用轮廓线

来表示手绘草图，并使用两阶段生成器从部分笔划生

成照片。Contextu- alGAN [34]将草图到图像生成转化

为图像完成问题：该网络学习草图和图像对的联合分

布，并通过迭代遍历流形来获得结果。近期工作

[51]使用草图实例作为监督来微调训练有素的生成器

（StyleGAN[26]），旨在生成忠实于草图的图像。请

注意，我们的方法与他们的方法不同，我们的目标是

训练一个自动编码器，可以将多类草图集合映射到潜

在空间，并通过训练有素的生成器生成照片[6]。GAN

反演。GAN反演是一项任务，旨在找到相应的潜在代

码，以恢复固定的良好训练的GAN模型的输入图像。

GAN反演支持多个下游任务，如图像处理、图像插

值、图像恢复、3D重建、

通过使用编码器来生成用于稍后优化的初始潜在要反

演的GAN模型可以是（i）有条件的[38]或（ii）无条

件的。现有的GAN反演模型大多属于（ii）。

跨模态图像翻译。目前，计算机视觉界越来越重视使

用大规模的预训练模型来学习跨模态图像翻译。[43，

44]使用预训练CLIP[41]来实现基于文本的超现实主义

图像生成。NUWA[52]是一种多模态预训练模型，可

以为各种视觉任务生成新数据或操作现有视觉数据。

我们不与NUWA进行比较，因为由于数据集规模的差

异，这可能是不公平的。该模型只需要16，000个草

图-照片对进行训练，而NUWA使用了290万个文本-图

像对。

方法

我们的模型SketchInverter旨在根据给定的草图生成

多个类别的照片。它建立在基于学习的GAN反演之

上，首先学习从草图到条件GAN（cGAN）模型的潜

在空间的映射，然后利用预训练的cGAN生成忠实于输

入草图的照片。

针对这一问题，提出了三种具体的设计方案，包

括：（1）提出了一种新的条件GAN逆编码器，将输

入草图映射到以类别标签为条件的潜在空间中(2)为了

保证生成图像的真实性，引入了一种新的形状损失算

法.(3)构建合成数据集进行训练，以解决配对数据稀缺

问题。

3.1.

整体架构

我们的模型的整体架构如图所示。3.第三章。我们

的模型旨在将给定的草图s映射到相应的潜码z，然后

生成在某些方面与s匹配的自然图像x，例如，姿势和

方向。具体来说，我们的模型将草图s及其对应的标签

y作为输入，并通过草图编码器E将它们映射到潜在代

码z。接下来，固定的预训练生成器G在给定潜在代码

的情况

抽样生成

伪造图像

真实图像

映射

真实草图

潜在空间

重建

抽样生成

伪造图像

反演

真实图像

潜在空间

重建

剩余13页未读，继续阅读

cpongm

粉丝: 6

GAN反演驱动的多类别草图生成新法：MC-SBIG

BDInvert：超范围图像的几何变换GAN反演

3D GAN反演：位姿优化驱动的多视图编辑与重建

超网络驱动的GAN反演提升：兼顾高质量与可编辑性

基于风量反演风阻的节点压能解析方法

基于时间反演的天线阵列激励分布确定方法研究

基于沉降资料反演固结系数的方法研究

电信设备-基于时间反演技术的信息安全传输方法.zip

基于弹性阻抗反演理论的泊松比反演方法研究

一种基于虚拟反演的飞行器攻角跟踪控制方法与流程.docx

基于地震反演技术的煤层分叉合并识别

最新资源