基于CycleGAN的艺术风格迁移_pix2pix风格迁移如何准备数据集

风格迁移

4星 · 超过85%的资源需积分: 50 125 浏览量更新于2023-03-16 评论 22 收藏 5.32MB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

数字图像处理项目报告

基于 CycleGAN

的艺术风格迁移

2018 年 4 月

冼宇乔 15394112 谢瑞麟 15349114

指导老师：胡海峰

I. 概述 .................................................................................................................................................................................................... 1

II. 相关工作 ........................................................................................................................................................................................... 2

A. 对抗生成网络 ............................................................................................................................................................................. 2

B. 风格迁移 ...................................................................................................................................................................................... 3

III. 方法原理 ...................................................................................................................................................................................... 3

A. 对抗损失 ...................................................................................................................................................................................... 3

B. 循环一致性损失 ......................................................................................................................................................................... 3

C. 目标函数 ...................................................................................................................................................................................... 3

D. 算法实现细节 ............................................................................................................................................................................. 4

IV. 改进工作 ...................................................................................................................................................................................... 4

A. 利用掩膜进行部分风格迁移 .................................................................................................................................................. 4

B. 利用颜色匹配保留色彩信息 .................................................................................................................................................. 4

1) 全局颜色直方图匹配 ........................................................................................................................................................... 5

2) 局部颜色直方图匹配 ........................................................................................................................................................... 5

3) 线性变换颜色匹配................................................................................................................................................................ 5

C. 混合风格迁移 ............................................................................................................................................................................. 6

V. 实验结果 ........................................................................................................................................................................................... 6

A. 原文效果复现 ............................................................................................................................................................................. 6

B. 使用自制数据集进行训练 ...................................................................................................................................................... 7

C. 利用颜色直方图均衡保留色彩信息 .................................................................................................................................... 7

VI. 总结 ................................................................................................................................................................................................ 9

VII. 附录 .............................................................................................................................................................................................. 10

基于 CycleGAN 的艺术风格迁移

《数字图像处理》课程项目报告

冼宇乔（15349112）

电子与信息工程学院

中山大学

广州，510006

ericxian1997@gmail.com

谢瑞麟（15349114）

电子与信息工程学院

中山大学

广州，510006

162147353@qq.com

胡海峰（指导老师）

电子与信息工程学院

中山大学

广州，510006

huhaif@mail.sysu.edu.cn

图 1：风格各异的艺术风格迁移

摘要 — 我们使用了循环一致性生成对抗网络（ Cycle-

Consistent Generative Adversarial Networks, CycleGAN）实现了

将绘画中的艺术风格迁移到摄影照片中的效果。这种方法从图

像数据集中学习整体风格，进行风格转换时只要将目标图片输

入网络一次，不需要迭代的过程，因此速度较快。我们使用了

一些自己制作的数据集训练了 CycleGAN 风格迁移模型，并分析

了这种方法的优点和局限性。为了使风格转换后的图片保留原

来的色彩分布，我们实现并分析对比了多种颜色匹配的方法。

我们还利用了 Mask R-CNN 模型生成的掩膜图像来做图像运算

而实现了局部风格转换和混合风格转换等效果。

关键词

—

风格迁移，生成对抗网络，颜色匹配

Abstract—In our project we use Cycle-Consistent Generative

Adversarial Networks (CycleGAN) to transfer the artistic style of

paintings into photograph. This model learns comprehensive style

from the whole dataset. When transferring style, the object image

only need to be processed in the network only once without

iterations. We use some datasets collected by ourselves and train

our own CycleGAN style transfer models. We analysis the

strengths and weaknesses of this method. In order to preserve

color distribution of the original image, we implement, analyze,

and compare several methods for color matching. We also realize

partial style transfer and mixture style transfer using mask image

generated by Mask R-CNN.

Keywords—style transfer, generative adversarial networks, color

matching

I. 概述

如果生活在 19 世纪的荷兰画家梵高（Vincent Van Gogh）

穿越时空来到了现代，美丽的中大校园建筑在他表现主义

（Expressionism）的绘画风格下会是怎样一番景色？如果

擅长水墨花鸟画的国画大师齐白石曾经有幸来到过中山大

学，又会如何用他的毛笔描绘我们校园里的一草一木？

绘画艺术曾经是人类保存自然界中视觉场景的唯一途

径。1826 年，法国发明家尼埃普斯（Joseph Nicéphore

Nièpce）借助暗箱绘画成像原理，成功拍摄了人类历史上

第一幅永久性照片。随后，胶片相机和数码相机陆续出现，

拍照成本不断下降，照片质量不断提高，人们不再需要依

赖画家的颜料和画笔，就能将生活中稍纵即逝的平凡事物

转化为不朽的视觉图像。今天，摄影艺术已经无处不在，

成为我们日常生活中不可或缺的一部分。但是，照片与绘

画最大的区别在于照片是对人物或景物客观的、真实的写

照，在内容和风格上不受摄影者的主观因素的影响；而绘

画中往往带有画家强烈的个人风格，表现了画家的思想与

情感，具有丰富的文化内涵和审美价值。因此，在艺术价

值上，摄影照片是无法取代绘画的。

现代数字图像处理技术的发展，使得我们可以使用计

算机软件来合成许多在绘画和摄影中未曾出现过的图像。

图像处理技术也被广泛地用于摄影照片的后期处理中，使

得照片美感更加突出、风格更加独特。而艺术风格迁移，

则是希望将绘画中的艺术风格，转移到实际中拍摄的照片

图 2：生成对抗网络示意图

上去。风格迁移需要从艺术绘画图像中学习或者分离出

“风格”，并将这种风格和目标摄影图片的内容结合起来。

在我们的项目中，我们使用了当下流行的 CycleGAN [1]

来实现图像的艺术风格迁移。该方法由美国加州大学伯克

利分校的 BAIR 实验室的 Jun-Yan Zhu，Taesung Park 等学

者在 2017 年提出，并在当年的 IEEE 计算机视觉国际会议

（ICCV2017）上被评为 spotlight 论文。CycleGAN 属于当

下十分流行的深度学习模型——对抗生成网络（GAN）的

一种，它可以实现两个图像域之间的风格互相转换，并能

够较好地保留输入图片的内容信息。

绘画作品的风格往往包括三部分：颜色、纹理和形状

构成。现有的风格迁移往往只能够较好地实现颜色和纹理

的迁移，对于一些对现实物体和景色的形状进行了明显变

化的绘画作品（如抽象画），往往带有画家明显的主观因

素，现有的方法都是基于对图像像素层面的处理，难以捕

捉到这些特征。

而对于颜色风格特征，我们可以发现不同的画家的作

品（或是同一画家不同时期的作品）具有明显的区别。这

与画家所处的时代、艺术风格所属的派系以及画家个人的

偏好是有关的。我们的方法从画家的绘画作品集中学习到

的风格往往也会带有这种强烈的颜色偏好，这种偏好在进

行风格迁移时可能会对我们输入的内容图片的颜色分布造

成较大改变。这种改变有时候是我们需要的，而有时候我

们则希望内容图片保留其原来的颜色分布，只在纹理风格

上与目标域的图片风格相似。因此，我们实现并比较了三

种不同的颜色匹配方法，将风格迁移后的图片（带有目标

域颜色偏好的图片）与风格迁移前的图片进行颜色匹配，

使其颜色分布与原来接近，解决了以上这个问题。

我们将我们的部分实验代码公开到了互联网上：

https://github.com/ericxian1997/style-transfer-CycleGAN ，以

便大家交流学习。

在本报告随后的篇幅中，我们将在第Ⅱ部分介绍与我

们使用的方法相关的一些研究工作，在第Ⅲ部分说明我们

使用的主要方法——CycleGAN 的基本原理，在第Ⅳ部分

解释我们做的一些改进工作，在第Ⅴ部分展示和分析了我

们的实验结果，并最后在第Ⅵ部分对我们的工作进行了总

结。详细的效果图片展示在附录中。

II. 相关工作

生成对抗网络

生成对抗网络（Generative Adversarial Networks, GAN）

[6] 是近年来十分流行的一种深度学习方法。如图 2 所示，

它包括一个生成器 G 和一个辨别器 D，生成器 G 负责生成

符合目标域分布的样本，辨别器负责判别样本是否是来自

目标域的真实样本。生成器和辨别器，以对抗的方式共同

训练，以相反的方向优化目标函数，是一个动态的博弈过

程。训练的理想结果是生成器 G 输出的样本完全符合真实

样本的分布，辨别器 D 无法辨认样本真伪。

生成对抗网络在数字图像处理和计算机视觉方面有十

分广泛的应用，如图像生成、图像编辑和图像数据增强等。

生成对抗网络在图像领域获得出色效果的关键在于对抗损

失（见第Ⅲ部分 A）的作用。对抗损失迫使生成的伪图像

在总体上跟真实的图像十分接近，难以被区分开来，这样

的性质对于图像生成的任务来讲是十分有用的。因此在用

于风格迁移的 CycleGAN 的损失函数（见第Ⅲ部分 C）中，

也有一部分使用了经典生成对抗网络的对抗损失。在图像

生成中，生成对抗网络通常使用卷积神经网络

（Convolutional Neural Network，CNN）中的卷积层来对图

像提取特征，并与大部分深度学习方法一样，使用随机梯

度下降法（Stochastic Gradient Descent）和反向传播（Back

Propagation）来对网络进行训练。关于深度学习的详细介

绍可以参考文献 [7] 和文献 [8]。

图 3：生成对抗网络用于图像生成

剩余16页未读，继续阅读

suangzi123

2018-12-10

这个还可以

Ericxian1997

粉丝: 0
资源: 1

会员权益专享

基于CycleGAN的艺术风格迁移

评论5

会员权益专享

最新资源

基于CycleGAN的艺术风格迁移

评论5

风格迁移数据集，可用于CartoonGAN等

马斑马数据集

图像风格迁移

使用CycleGAN进行图像风格迁移的方法与实践

GAN 进阶实践：实现图像风格迁移

基于像素级对齐的图像风格迁移原理解析

通过风格迁移调整图像的风格强度

风格迁移技术：在树莓派上用OpenCV实现图像风格迁移

github上使用cyclegan实现风格迁移加系统设计的项目

使用cyclegan进行风格迁移训练代码

使用cyclegan实现风格迁移加系统设计的项目

cyclegan图像迁移

cyclegan风格迁移中fid数据范围

有哪些基于传统艺术进行风格迁移的方法？

cycleGAN相比GAN的优点

cycle gan是什么

cyclegan 注意力机制

基于vgg的图像风格迁移代码

cyclegan tensorflow2.0

图像风格迁移算法中GAN方法有哪些

会员权益专享

最新资源