UVCGAN：基于UNet Vision Transformer的不成对图像到图像转换

73 浏览量更新于2025-01-16 收藏 1.14MB PDF 举报

702

UVCGAN：UNet Vision Transformer周期一致性GAN，用于不成对的

图像到图像转换

Dmitrii Torbunov，Yi Huang，Haiwang Yu，Jin

Huang，Shinjae Yoo，Meifeng Lin，Brett Viren，

Yihui Ren Brookhaven National Laboratory，

Upton，NY，USA

dtorbunov,yhuang2,hyu,jhuang,sjyoo,mlin,bviren,yren@bnl.gov

摘要

不成对图像到图像的翻译在艺术、设计和科学模拟

中有着广泛的应用。一个早期的突破是

CycleGAN

，

它强调通过生成对抗网络（

GAN

）与循环一致性约束

相结合的两个未配对图像域之间的一对一映射，而最

近的作品促进一对多映射以提高翻译图像的多样性。

受科学模拟和一对一需求的激励，这项工作重新审视

了经典的

CycleGAN

框架，并在不放松周期一致性约束

的情况下提高了其性能，以超越更多的当代模型。为

了实现这一点，我们为发生器配备了

Vision

Transformer

（

ViT

），并采用了必要的训练和正则化技

术。与以前表现最好的模型相比，我们的模型表现更

好，并保留了原始图像和

translated

图像之间的强相关

性。伴随的消融研究表明，梯度惩罚和自我监督的预

训练对改进至关重要为了促进可重复性和开放科学，

源代码，超参数配置和预训练模型可在

https

：

//github.com/LS4GAN/uvcgan

网站。

介绍

深度生成模型，如生成对抗网络（ GAN ） [30，

11，41]，变分自动编码器

(VAE)[44，45]、标准化流（NF）[26，43]和扩散模型

（DM）[37，70，55]代表一类用于创建模拟目标数据

域的真实和多样化数据实例的随着在图像处理，音频

分析和文本生成中的应用，它们的成功和表现力吸引

了自然科学的研究人员，包括宇宙学[54]，高能物理

学[25，2]，材料设计[29]和药物设计[22，9]。大多数

现有的工作对待深生成

模型作为现有仿真软件的直接替代品现代仿真框架可

以生成高保真度的数据，但数据是不完美的。生成的

数据和实际数据之间广泛存在的系统不一致性我们希

望利用深度生成模型的表现力来弥合模拟与现实之间

的差距。我们框架的任务作为一个不成对的图像到图

像的翻译问题，其中模拟结果可以被定义为一个域与

实验数据作为其他。不成对是一个必要的约束，因为

收集模拟和实验数据与精确的像素到像素映射是困难

的（往往是不可能的）。除了提高仿真结果的质量之

外，成功的生成模型可以反向运行，以将真实世界的

数据转换到仿真域中。该反向任务可以被视为去噪步

骤，有助于从实验观察结果中正确推断基础参数

[20]。实现逼真的科学模拟需要定义良好的科学数据

集和专门设计的机器学习模型。这项工作将集中在后

者开发新的模型不成对的图像到图像的翻译。

CycleGAN[82]模型是第一个在没有配对的情况下在

两个域之间转换图像的模型。它使用两个GAN，每个

翻译方向一个。CycleGAN引入了周期一致性损失，其

中图像在到另一个域并返回的一个周期之后看起来应

该像它自己。这种周期一致性对于科学应用至关重

要，因为科学在翻译过程中不能改变。也就是说，在

模拟结果和其实验对应物之间应该存在一对一的映

射。然而，为了促进更多样化的图像生成，许多最近

的作品[80，56，61，79]放松了周期一致性约束。遵

循重新访问和修改规范神经架构的相同目标[8]，我们

证明通过为CycleGAN配备视觉转换器（ViT）[28]来

增强非局部模式学习，

703

采用先进的训练技术，如梯度惩罚和自我监督的预训

练，得到的模型，命名为UVCGAN，可以在几个基准

数据集上优于竞争模型。

捐款 . 在这项工作中，我们： 1 ）将 ViT 合并到

CycleGAN生成器中并采用先进的训练技术，2）证明

其与其他更重的模型相比具有出色的图像转换性能，

3）通过消融研究表明，单独的架构变化不足以与其他

方法竞争，并且需要预训练和梯度惩罚，（4）从过去

的文献中找出不匹配的评估结果，并规范评估程序，

以确保公平的比较，并促进我们的基准测试结果的可

重用性。

相关工作

深度生成模型。深度生成模型创建真实的数据点（图

像、分子、音频样本等）与数据集中呈现的数据相

似。生成式决策模型不像传统的决策模型那样压缩表

征维度，提取高层信息，而是扩大表征维度，进行信

息外推有几种类型的深层生成模型。VAE[44，45，

48，64]将数据点减少到概率潜在空间中，并从潜在分

布的样本中重建它们。NF[26，43，14，31]利用变量

公式的变化，并通过可逆和可微变换序列将样本从正

态分布变换为数据分布。DM[37，70，55，66，69，

76]是参数化的马尔可夫链，经过训练，通过连续步骤

将噪声转换为数据（前向过程）。与此同时，GAN[30]

将学习过程公式化为极小极大博弈，其中生成器试图

通过创建真实数据点来欺骗神经网络，神经网络试图

将生成的样本与真实样本区分开来。 GAN是最具表现

力和灵活性的模型之一，可以生成高分辨率，多样

化，风格特定的图像[11，41]。

GAN训练技术。最初的GAN存在许多问题，例如模式

崩溃和训练发散[52]。从那时起，已经做了很多工作

来提高训练的稳定性和模型的多样性。Pro- GAN [40]

介绍了两种稳定方法：渐进式训练和学习速率均衡。

生成器的渐进式训练从低分辨率图像开始，并上升到

高分辨率图像。学习速率均衡方案旨在确保模型的所

有部分都以相同的速率进行训练。 Wasser-stein

GAN[34]建议，可以通过使用更好的损失函数来防止

发电机和发电机之间的破坏性竞争，即，Wasserstein

损失函数它的关键成分是梯度惩罚项，其防止鉴别器

梯度的幅度从

成长得太大。然而，后来重新检查了Wasserstein损失

函数。值得注意的是，评估显示梯度惩罚项负责稳定

训练，而不是 Wasserstien 损失函数 [71] 。此外，

StyleGAN v2[41]依赖于零中心梯度惩罚项来实现高分

辨率图像生成任务的最新结果。这些发现激发了这项

工作，探索应用梯度惩罚项来提高GAN训练稳定性。

用于计算机视觉的Transformer架构。卷积神经网络

（CNN）架构是计算机视觉任务的一种流行选择。在

自然语言处理（NLP）领域，注意力机制和transformer

风格的架构在开放基准测试任务中已经超越了以前的

模型，如隐马尔可夫模型和递归与CNN相比，变压器

可以更有效地捕获自然界中常见的非局部特征。变压

器在计算机视觉中的应用在[28]中首次亮相，而其他

最近的工作表明CNN变压器混合可以实现更好的性能

[77，35]。

自我监督的预培训。自监督预训练通过在没有监督的

原始数据中获得的人工任务这对于在小的标记数据集

上训练具有大量参数的模型尤其重要，有许多创新的

方法来创建这些人工的自我监督任务。计算机视觉中

的例子包括图像修复[62]，解决拼图[58]，预测图像旋

转[46]，多任务学习[27]，对比学习[15，16]和师生潜

在自举[33，13]。NLP中常见的预训练方法包括自回归

[63]和掩码填充[24]任务。在掩码填充任务中，句子的

某些部分一旦模型经过预训练，就可以使用小得多的

标记数据集针对多个下游任务进行微调。

我们假设GAN训练也可以从自我监督的预训练中受

益特别是，GAN训练被称为遭受相反，尽管输入样本

不同，但仅重复生成一小组图像。观察者已经注意

到，模式崩溃问题在开始GAN训练后仅发生几个时期

[40]。这表明可以使用更好的初始化模型权重事实

上，GAN的迁移学习，一种预训练形式，一直是提高

GAN在小型训练数据集上性能的有效方法[75，57，

78，74，32]。然而，科学数据，如宇宙学和高能物理

学中的数据，与自然图像有很大的相似性因此，我们

只选择在一个自-

704

周期一致性损失

发电机

损耗

监督修复任务，这在NLP和计算机视觉中都取得了成

功。此外，它非常适合图像到图像的转换模型，其中

模型

用于非配对图像到图像翻译的GAN模型许多框架[38，

47，56，80]已经开发用于不成对的图像到图像翻译。

虽然大多数通常使用GAN进行翻译，但它们在如何保

持一致性方面有所不同。 U-GAT-IT[42] 紧密遵循

CycleGAN，但依赖于更复杂的生成器和识别器网络以

获得更好的其他模型放松了循环一致性约束。例如，

ACL-GAN[80] 通过引入所谓的与此同时， Council-

GAN[56]放弃了明确的consideration enforcement的想法

虽然宽松或隐含的一致性约束提高了翻译多样性并获

得了更好的评估分数，但此类模型不可避免地将随机

性引入特征空间和输出。因此，它们不适合需要一对

一映射的应用。与原有的Cycle-GAN相比，所有这些

模型包含更多的参数，需要更多的计算资源和更长的

训练时间。Zheng et. [81]还提出通过用自注意和卷积

的混合块替换ResNet块来利用ViT进行图像转换。

方法

3.1.

CycleGAN

类模型

身份损失

→

我

一

→

一

个

→

身份损失

图1. CycleGAN框架

类似CycleGAN的模型[82，42]交错两个生成器对，

用于不成对的图像到图像转换（图1）。用A和B表

示两个图像域，一个类似CycleGAN的模型使用生成

器

→

来翻译

从

到

的

图像，以及发生器

→

，

到

。不

...

criminator

用于区分

中的图像和从

翻译的图像

（在

图

中表示为

）以及从

、

和

翻译的图像

。

鉴别器通过与区分真实图像和转换图像的失败相对

应的反向传播损失（称为

生成对抗损失

或GAN

损失

）

来更新：

圆盘

，

GAN

（D

（G

→

（x））

，

0）

GAN

（

）

，

）

，

（

）

圆盘

，

GAN

（D

（G

→

（x））

，

）

GAN

（

）

，

1）

（

二）

在这里，

WASHGAN

可以是任何分类损失函数（

，交叉

熵，Wasserstein[5]等），而

和

分别是转换（假）图

像和真实图像的类标签。生成器通过来自三个源的反

向传播损耗来更新：GAN损失、循环一致性损失和身

份一致性损失。以G

→

为例：

GAN

，

GAN

（

→

（

））

，

1）

，

（

）

cyc

，

x<$A

reg

（

B→A

（

A→B

（

））

，

）

，

（

）

idt

，

<$A <

reg

（G

→

（x）

，

x）.

（

五）

而且，

gen

，

A→B

GAN

，

cyc

，

idt

，

（

）

gen

，

B→A

GAN

，

cyc

，

idt

，

（

七）

在此，

Rlreg

可以是任何回归损失函数（

或

等），λ

cyc

和λ

idt

是组合系数。

为了提高原始CycleGAN模型的性能，我们实现了

三个主要变化。首先，我们modify发电机有一个混合

架构的基础上UNet与ViT瓶颈（第3.2节）。第二，为

了正则化CycleGAN损失，我们用梯度惩罚项来增加普

通CycleGAN损失（第3.3节）。最后，我们不是从随

剩余13页未读，继续阅读

cpongm

粉丝: 6

UVCGAN：基于UNet Vision Transformer的不成对图像到图像转换

本科毕业设计：基于UNet的遥感图像语义分割

A毕业设计：基于UNet的遥感图像语义分割

2019本科毕业设计：基于UNet的遥感图像语义分割.zip

毕业设计：2019本科毕业设计：基于UNet的遥感图像语义分割.zip

本科毕业设计：基于UNet的遥感图像语义分割python实现源码+论文（高分项目）.zip

语义分割技术：Unet、Unet++及多种变体模型网络的改进与优化,语义分割图像处理：Unet、Unet++、Swin UNet及Transformer变体模型的优化与改进,语义分割图像分割Unet

PyTorch：基于UNet和camvid数据集的道路分割

基于Mamba的医学图像分割技术：融合CNN与Transformer优势，构建高效处理复杂结构与模式的模型架构,基于Mamba模型的医学图像分割：融合CNN与Transformer优势的深度学习解决方

keras-UNet-demo：使用unet进行图像分割

基于Swin Transformer的UNet图像去噪模型SUNet

最新资源