DF-GAN：一阶段高效文本到图像生成网络

PDF格式 | 20.89MB | 更新于2025-01-16 | 67 浏览量 | 举报

16515

DF-GAN：一种简单有效的文本到图像合成基准

MingTao1HaoTang2FeiWu1XiaoyuanJing3Bing-KunBao1*ChangshengXu4,5,6

1南京邮电大学2ETH苏黎世联邦理工学院CVL3武汉大学4彭城实验室5中国科学院大学6

中国科学院自动化研究所NLPR

bingkunbao@njupt.edu.cn

摘要

从文本描述中合成高质量逼真的图像是一项具有挑战性的任

务。现有的文本到图像生成对抗网络通常采用堆叠架构作为

骨干，但仍存在三个缺陷。首先，堆叠架构引入了不同图像

尺度生成器之间的纠缠。其次，现有研究倾向于在对抗学习

中应用和固定额外的网络以实现文本-图像语义一致性，这

限制了这些网络的监督能力。第三，由于计算成本的限制，

先前的工作广泛采用基于跨模态注意力的文本-图像融合仅

限于几个特定的图像尺度。为此，我们提出了一种更简单但

更有效的深度融合生成对抗网络（DF-GAN）。具体而言，

我们提出了：（i）一种新颖的一阶段文本到图像骨干，直接

合成高分辨率图像，而不引入不同生成器之间的纠缠；（ii

）一种新颖的目标感知鉴别器，由匹配感知梯度惩罚和单向

输出组成，增强文本-图像语义一致性，而不引入额外的网

络；（iii）一种新颖的深度文本-图像融合块，通过深化融合

过程实现文本和视觉特征的完全融合。与当前最先进的方法

相比，我们提出的DF-GAN更简单但更高效地合成逼真且与

文本匹配的图像，并在广泛使用的数据集上取得更好的性能

。代码可在https://github.com/tobran/DF-GAN上获得。

1.引言

在过去的几年中，生成对抗网络（GANs）在各种应用中取

得了巨大的成功[4,27,

48]。其中，文本到图像合成是GANs最重要的应用之一。

*通讯作者

图1.（a）现有的文本到图像模型堆叠多个生成器以生成高分辨率图

像。（b）我们提出的DF-GAN直接生成高质量图像，并通过我们的

深度文本-图像融合块深度融合文本和图像特征。

它旨在从给定的自然语言描述中生成逼真且文本一致的图像

。由于其实用价值，文本到图像合成最近已成为一个活跃的

研究领域[3,9,13,19-21,32,33,35,51,53,

60]。文本到图像合成面临的两个主要挑战是生成图像的真

实性以及给定文本和生成图像之间的语义一致性。由于GAN

模型的不稳定性，大多数最近的模型采用堆叠架构[56,

57]作为生成高分辨率图像的骨干。它们使用跨模态注意力

来融合文本和图像特征[37,50,56,57,

60]，然后引入DAMSM网络[50]、循环一致性[33]或孪生网

络[51]通过额外的网络来确保文本-图像语义一致性。尽管之

前的研究[9,19,21,32,33,51,

60]已经取得了令人印象深刻的结果，但仍然存在三个问题

。首先，堆叠架构[56]引入了不同生成器之间的纠缠，这使

得最终的精细图像看起来像是模糊形状和一些细节的简单组

合。如图1(a)所示，最终的精细图像由G0合成的模糊形状、

由G0合成的粗糙属性（例如眼睛和喙）组成。

16516

G1由G1生成，G2

添加了细粒度的细节（例如，眼睛反射）。最终合成的图像

看起来像是从不同图像尺度的视觉特征简单组合而成。其次

，现有的研究通常在对抗训练过程中固定额外的网络[33,

50]，使这些网络容易被生成器欺骗，合成对抗特征[30,

52]，从而削弱了它们对语义一致性的监督能力。第三，跨

模态注意力[50]无法充分利用文本信息。由于计算成本较高

，它只能在64×64和128×128的图像特征上应用两次。这限

制了文本-图像融合过程的有效性，并使模型难以扩展到更

高分辨率的图像合成。为了解决上述问题，我们提出了一种

名为DeepFusionGenerativeAdversarial

Network（DF-GAN）的新型文本-图像生成方法。对于第

一个问题，我们用一阶段骨干网络替换了堆叠的骨干网络。

它由铰链损失[54]和残差网络[11]组成，可以直接合成高分

辨率图像。由于一阶段骨干网络中只有一个生成器，它避免

了不同生成器之间的纠缠。对于第二个问题，我们设计了一

个目标感知鉴别器，由匹配感知梯度惩罚（MA-GP）和单

向输出组成，以增强文本-图像的语义一致性。MA-GP是鉴

别器上的正则化策略。它追求鉴别器在目标数据（真实和文

本匹配图像）上的梯度为零。因此，MA-GP在真实和匹配

数据点上构建了一个平滑的损失曲面，进一步促使生成器合

成文本匹配图像。此外，考虑到以前的双向输出在MA-GP

下减慢了生成器的收敛过程，我们用更有效的单向输出替换

它。对于第三个问题，我们提出了一种深度文本图像融合块

（DFBlock），以更有效地将文本信息融合到图像特征中。

DFBlock由几个仿射变换[31]组成。仿射变换是一个轻量级

模块，通过通道级缩放和平移操作来操作视觉特征图。在所

有图像尺度上堆叠多个DFBlock可以加深文本-图像融合过程

，并实现文本和视觉特征之间的完全融合。总的来说，我们

的贡献可以总结如下：

•

我们提出了一种新颖的一阶段文本到图像的骨干网络，可以直接

合成高分辨率图像，而不会产生不同生成器之间的纠缠。

•

我们提出了一种新颖的目标感知鉴别器，由匹配感知梯度

惩罚（MA-GP）和单向输出组成。它显著增强了文本-图

像的语义一致性，而不引入额外的网络。

•

我们提出了一种新颖的深度文本图像融合块（DFBlock）

，更有效地深度融合文本和视觉特征。

•

在两个具有挑战性的数据集上进行了广泛的定性和定量实

验，证明了所提出的DF-GAN优于现有的最先进的文本-

图像模型。

2.相关工作

生成对抗网络（GANs）[8]是一种吸引人的框架，可以通过

解决生成器和鉴别器之间的最小最大优化问题来模拟复杂的

现实世界分布[16,17,43,

54]。例如，Reed等人首次应用条件GAN从文本描述中生成

逼真的图像[37,

38]。StackGAN通过堆叠多个生成器和鉴别器生成高分辨率

图像，并通过将文本向量和输入噪声串联来向生成器提供文

本信息[56,

57]。接下来，AttnGAN引入了跨模态注意力机制，帮助生

成器合成更多细节的图像[50]。MirrorGAN通过生成的图像

重新生成文本描述，以实现文本-图像的语义一致性[33,

59]。SD-GAN采用Siamese结构[45,

46]从文本中提取语义共性，以实现图像生成的一致性[51]。

DM-GAN在堆叠的架构中引入了记忆网络[10,

49]，以在初始图像生成不良时改进模糊图像内容。最近，

一些基于大型Transformer的文本到图像方法[7,24,

35]在复杂图像合成方面表现出色。它们将图像标记化，并

通过单向Transformer[2,

34]将图像标记和词标记进行自回归训练。我们的DF-GAN

与以前的方法有很大的不同。首先，它通过一阶段骨干网络

直接生成高分辨率图像。其次，它采用目标感知鉴别器增强

文本-图像的语义一致性，而不引入额外的网络。第三，它

通过一系列DFBlock更深入有效地融合文本和图像特征。与

以前的模型相比，我们的DF-GAN在合成逼真和文本匹配图

像方面更简单但更有效。

3.提出的DF-GAN

在本文中，我们提出了一种名为DeepFusion

GAN（DF-GAN）的简单的文本到图像合成模型。为了合成更逼真

和与文本匹配的图像，我们提出了以下内容：（i）一种新颖的单阶

段文本到图像骨干网络，可以直接合成高分辨率图像而不引入视觉

特征纠缠。（ii）一种新颖的目标感知判别器，由匹配感知梯度惩罚

（MA-GP）和单向输出组成，增强了文本-图像语义一致性而不引

入额外的网络。（iii）一种新颖的深度文本-图像融合块（DF-Block

），更充分地融合文本和视觉特征。

The proposed DF-GAN is composed of a generator, a

discriminator, and a pre-trained text encoder as shown in

Figure 2. The generator has two inputs, a sentence vector

encoded by text encoder and a noise vector sampled from

the Gaussian distribution to ensure the diversity of the gen-

erated images. The noise vector is ﬁrst fed into a fully con-

nected layer and reshaped.We then apply a series of UP-

Blocks to upsample the image features. The UPBlock is

composed of an upsample layer, a residual block, and DF-

Blocks to fuse the text and image features during the image

generation process. Finally, a convolution layer converts

image features into images.

The discriminator converts images into image features

through a series of DownBlocks. Then the sentence vector

will be replicated and concatenated with image features. An

adversarial loss will be predicted to evaluate the visual real-

ism and semantic consistency of inputs. By distinguishing

generated images from real samples, the discriminator pro-

motes the generator to synthesize images with higher qual-

ity and text-image semantic consistency.

The text encoder is a bi-directional Long Short-Term

Memory (LSTM) [41] that extracts semantic vectors from

the text description. We directly use the pre-trained model

provided by AttnGAN [50].

= − E

x∼P

[min(0, −1 + D(x, e))]

− (1/2)E

G(z)∼P

[min(0, −1 − D(G(z), e))]

(1/2)E

x P

mis

[min(0, −1 − D(x, e))]

(1)

16517

图2.

提出的DF-GAN用于文本到图像合成的架构。DF-GAN通过一个生成器和一个判别器直接生成高分辨率图像，并通过多个深度文本-图像融合

块（DFBlock）在UPBlocks中融合文本信息和视觉特征图。我们的模型配备了匹配感知梯度惩罚（MA-GP）和单向输出，可以合成更逼真和

与文本匹配的图像。

提出的DF-GAN由一个生成器、一个判别器和一个预训练的文本编码器组成，如图2所示。生成器有两个输入，一个由文

本编码器编码的句向量和从高斯分布中采样的噪声向量，以确保生成图像的多样性。噪声向量首先经过一个全连接层并

进行重塑。然后，我们应用一系列的UPBlocks来上采样图像特征。UPBlock由上采样层、残差块和DF-Block组成，在图

像生成过程中融合文本和图像特征。最后，卷积层将图像特征转换为图像。判别器通过一系列的DownBlocks将图像转换

为图像特征。然后，句向量将被复制并与图像特征连接。通过区分生成的图像和真实样本，判别器促使生成器合成更高

质量和文本-图像语义一致性的图像。文本编码器是一个双向长短期记忆（LSTM）[41]，从文本描述中提取语义向量。我

们直接使用AttnGAN[50]提供的预训练模型。

3.1.模型概述

3.2.单阶段文本到图像的骨干网络

由于GAN模型的不稳定性，先前的文本到图像GAN通常采

用堆叠的架构[56,

57]从低分辨率图像生成高分辨率图像。然而，堆叠的架构

会引入不同生成器之间的纠缠，并使最终的精炼图像看起来

像是模糊形状和一些细节的简单组合（见图1（a））。受到

最近关于无条件图像生成的研究[23,

54]的启发，我们提出了一种单阶段文本到图像的骨干网络

，可以通过一个生成器和一个判别器直接合成高分辨率图像

。我们采用铰链损失[23]来稳定对抗训练过程。由于单阶段

骨干网络中只有一个生成器，它避免了不同生成器之间的纠

缠。由于单阶段框架中的单个生成器需要直接从噪声向量合

成高分辨率图像，它必须比堆叠架构中的先前生成器包含更

多层。为了有效地训练这些层，我们引入了残差网络[11]来

稳定更深层网络的训练。我们的单阶段方法使用铰链损失[2

3]的公式如下：

LG=-EG(z)Pg[D(G(z),e)]

其中z是从高斯分布中采样的噪声向量；e是句子向量；Pg、Pr、P

mis分别表示合成数据分布、真实数据分布和不匹配数据分布。

剩余10页未读，继续阅读

cpongm

粉丝: 6

DF-GAN：一阶段高效文本到图像生成网络

DF-GAN:用于文本到图像合成的深度融合生成对抗网络

文本生成图像DF-GAN -CUB鸟元处理数据包

DFM-GAN网络在跨年龄模拟的人脸识别技术研究.pdf

df-gan代码解读

DF-GAN的改进模型

12.数据集df=pd.DataFrame([[1,2,3],[2,3,4]],columns=['a',‘b)‘c'],index=['A',‘B'])，想要提取元素4,（）无法返回想要的结 果。 A.df['c][-1:-2] B.df.loc['Bc'] C.df.iloc[1:,2:] D.df['c'][-1:-2:-1]

数据集df = pd.DataFrame([[1, 2, 3],[2, 3, 4]], columns = [‘a’, ‘b’, ‘c’],index = [‘A’, ‘B’]) ，想要提取元素4，df['c'][-1:-2:-1]能返回想要的结果吗

代码介绍function [f,sf]= T2F(t,st) dt = t(2)-t(1); T=t(end); df=1/T; N=length(st); f=-N/2*df:df:N/2*df-df; sf=fft(st); sf=T/N*fftshift(sf);

列出所有shell命令

解释df -h 各个参数

最新资源

12.数据集df=pd.DataFrame([[1,2,3],[2,3,4]],columns=['a',‘b)‘c'],index=['A',‘B'])，想要提取元素4,（）无法返回想要的结果。 A.df['c][-1:-2] B.df.loc['Bc'] C.df.iloc[1:,2:] D.df['c'][-1:-2:-1]

代码介绍function [f,sf]= T2F(t,st) dt = t(2)-t(1); T=t(end); df=1/T; N=length(st); f=-N/2df:df:N/2df-df; sf=fft(st); sf=T/N*fftshift(sf);