2
图 2：生成对抗网络示意图
上去。风格迁移需要从艺术绘画图像中学习或者分离出
“风格”，并将这种风格和目标摄影图片的内容结合起来。
在我们的项目中，我们使用了当下流行的 CycleGAN [1]
来实现图像的艺术风格迁移。该方法由美国加州大学伯克
利分校的 BAIR 实验室的 Jun-Yan Zhu，Taesung Park 等学
者在 2017 年提出，并在当年的 IEEE 计算机视觉国际会议
（ICCV2017）上被评为 spotlight 论文。CycleGAN 属于当
下十分流行的深度学习模型——对抗生成网络（GAN）的
一种，它可以实现两个图像域之间的风格互相转换，并能
够较好地保留输入图片的内容信息。
绘画作品的风格往往包括三部分：颜色、纹理和形状
构成。现有的风格迁移往往只能够较好地实现颜色和纹理
的迁移，对于一些对现实物体和景色的形状进行了明显变
化的绘画作品（如抽象画），往往带有画家明显的主观因
素，现有的方法都是基于对图像像素层面的处理，难以捕
捉到这些特征。
而对于颜色风格特征，我们可以发现不同的画家的作
品（或是同一画家不同时期的作品）具有明显的区别。这
与画家所处的时代、艺术风格所属的派系以及画家个人的
偏好是有关的。我们的方法从画家的绘画作品集中学习到
的风格往往也会带有这种强烈的颜色偏好，这种偏好在进
行风格迁移时可能会对我们输入的内容图片的颜色分布造
成较大改变。这种改变有时候是我们需要的，而有时候我
们则希望内容图片保留其原来的颜色分布，只在纹理风格
上与目标域的图片风格相似。因此，我们实现并比较了三
种不同的颜色匹配方法，将风格迁移后的图片（带有目标
域颜色偏好的图片）与风格迁移前的图片进行颜色匹配，
使其颜色分布与原来接近，解决了以上这个问题。
我 们 将 我 们 的 部 分 实 验 代 码 公 开 到 了 互 联 网 上 ：
https://github.com/ericxian1997/style-transfer-CycleGAN ， 以
便大家交流学习。
在本报告随后的篇幅中，我们将在第Ⅱ部分介绍与我
们使用的方法相关的一些研究工作，在第Ⅲ部分说明我们
使用的主要方法——CycleGAN 的基本原理，在第Ⅳ部分
解释我们做的一些改进工作，在第Ⅴ部分展示和分析了我
们的实验结果，并最后在第Ⅵ部分对我们的工作进行了总
结。详细的效果图片展示在附录中。
II. 相关工作
A.
生成对抗网络
生成对抗网络（Generative Adversarial Networks, GAN）
[6] 是近年来十分流行的一种深度学习方法。如图 2 所示，
它包括一个生成器 G 和一个辨别器 D，生成器 G 负责生成
符合目标域分布的样本，辨别器负责判别样本是否是来自
目标域的真实样本。生成器和辨别器，以对抗的方式共同
训练，以相反的方向优化目标函数，是一个动态的博弈过
程。训练的理想结果是生成器 G 输出的样本完全符合真实
样本的分布，辨别器 D 无法辨认样本真伪。
生成对抗网络在数字图像处理和计算机视觉方面有十
分广泛的应用，如图像生成、图像编辑和图像数据增强等。
生成对抗网络在图像领域获得出色效果的关键在于对抗损
失（见第Ⅲ部分 A）的作用。对抗损失迫使生成的伪图像
在总体上跟真实的图像十分接近，难以被区分开来，这样
的性质对于图像生成的任务来讲是十分有用的。因此在用
于风格迁移的 CycleGAN 的损失函数（见第Ⅲ部分 C）中，
也有一部分使用了经典生成对抗网络的对抗损失。在图像
生 成 中 ， 生 成 对 抗 网 络 通 常 使 用 卷 积 神 经 网 络
（Convolutional Neural Network，CNN）中的卷积层来对图
像提取特征，并与大部分深度学习方法一样，使用随机梯
度下降法（Stochastic Gradient Descent）和反向传播（Back
Propagation）来对网络进行训练。关于深度学习的详细介
绍可以参考文献 [7] 和文献 [8]。
图 3：生成对抗网络用于图像生成
评论5