没有合适的资源?快使用搜索试试~ 我知道了~
首页生成式对抗网络GAN的研究进展与展望_王坤峰.pdf
生成式对抗网络GAN(Generative adversarial networks)目前已经成为人工智能学界一个热门的研究方向.GAN的基本思想源自博弈论的二人零和博弈,由一个生成器和一个判别器构成,通过对抗学习的方式来训练.目的是估测数据样本的潜在分布并生成新的数据样本.在图像和视觉计算、语音和语言处理、信息安全、棋类比赛等领域,GAN正在被广泛研究,具有巨大的应用前景.本文概括了GAN的研究进展,并进行展望.在总结了GAN的背景、理论与实现模型、应用领域、优缺点及发展趋势之后,本文还讨论了GAN与平行智能的关系,认为GAN可以深化平行系统的虚实互动、交互一体的理念,特别是计算实验的思想,为ACP(Artificial societies,computational experiments,and parallel execution)理论提供了十分具体和丰富的算法支持.
资源详情
资源评论
资源推荐
第 43 卷 第 3 期 自 动 化 学 报 Vol. 43, No. 3
2017 年 3 月 ACTA AUTOMATICA SINICA March, 2017
生成式对抗网络 GAN 的研究进展与展望
王坤峰
1, 2
苟 超
1, 3
段艳杰
1, 3
林懿伦
1, 3
郑心湖
4
王飞跃
1, 5
摘 要 生成式对抗网络 GAN (Generative adversarial networks) 目前已经成为人工智能学界一个热门的研究方向. GAN
的基本思想源自博弈论的二人零和博弈, 由一个生成器和一个判别器构成, 通过对抗学习的方式来训练. 目的是估测数据样本
的潜在分布并生成新的数据样本. 在图像和视觉计算、语音和语言处理、信息安全、棋类比赛等领域, GAN 正在被广泛研究,
具有巨大的应用前景. 本文概括了 GAN 的研究进展, 并进行展望. 在总结了 GAN 的背景、理论与实现模型、应用领域、优缺
点及发展趋势之后, 本文还讨论了 GAN 与平行智能的关系, 认为 GAN 可以深化平行系统的虚实互动、交互一体的理念, 特
别是计算实验的思想, 为 ACP (Artificial societies, computational experiments, and parallel execution) 理论提供了十分具
体和丰富的算法支持.
关键词 生成式对抗网络, 生成式模型, 零和博弈, 对抗学习, 平行智能, ACP 方法
引用格式 王坤峰, 苟超, 段艳杰, 林懿伦, 郑心湖, 王飞跃. 生成式对抗网络 GAN 的研究进展与展望. 自动化学报, 2017,
43(3): 321−332
DOI 10.16383/j.aas.2017.y000003
Generative Adversarial Networks: The State of the Art and Beyond
WANG Kun-Feng
1, 2
GOU Chao
1, 3
DUAN Yan-Jie
1, 3
LIN Yi-Lun
1, 3
ZHENG Xin-Hu
4
WANG Fei-Yue
1, 5
Abstract Generative adversarial networks (GANs) have b ecome a hot research topic in artificial intelligence. Inspired
by the two-player zero-sum game, GAN is composed of a generator and a discriminator, both trained with the adversarial
learning mechanism. The aim of GAN is to estimate the potential distribution of existing data and generate new data
samples from the same distribution. Since its initiation, GAN has been widely studied due to its enormous prospect
for applications, including image and vision computing, speech and language processing, information security, and chess
game. In this paper we summarize the state of the art of GAN and lo ok into its future. First of all, we survey the GAN
0
s
background, theoretic and implementation models, application fields, advantages and disadvantages, and development
trends. Then, we investigate the relation between GAN and parallel intelligence with the conclusion that GAN has a great
p otential in parallel systems especially in computational experiments, in terms of virtual-real interaction and integration.
Finally, we clarify that GAN can provide specific and substantial algorithmic support for the ACP theory.
Key words Generative adversarial networks, generative models, zero-sum game, adversarial learning, parallel intelli-
gence, ACP methodology
Citation Wang Kun-Feng, Gou Chao, Duan Yan-Jie, Lin Yi-Lun, Zheng Xin-Hu, Wang Fei-Yue. Generative adversarial
networks: the state of the art and beyond. Acta Automatica Sinica, 2017, 43(3): 321−332
收稿日期 2017-02-01 录用日期 2017-03-01
Manuscript received February 1, 2017; accepted March 1, 2017
国家自然科学基金 (61533019, 71232006, 91520301) 资助
Supported by National Natural Science Foundation of China
(61533019, 71232006, 91520301)
本文责任编委 刘德荣
Recommended by Associate Editor LIU De-Rong
1. 中国科学院自动化研究所复杂系统管理与控制国家重点实验室 北京
100190 中国 2. 青岛智能产业技术研究院 青岛 266000 中国 3.
中国科学院大学 北京 100049 中国 4. 明尼苏达大学计算机科学与工
程学院 明尼阿波利斯 MN 55414 美国 5. 国防科学技术大学军事计
算实验与平行系统技术研究中心 长沙 410073 中国
1. The State Key Laboratory of Management and Control for
Complex Systems, Institute of Automation, Chinese Academy
of Sciences, Beijing 100190, China 2. Qingdao Academy of
Intelligent Industries, Qingdao 266000, China 3. University of
Chinese Academy of Sciences, Beijing 100049, China 4. De-
partment of Computer Science and Engineering, University of
生成式对抗网络 GAN (Generative adversarial
networks) 是 Goodfellow 等
[1]
在 2014 年提出的一
种生成式模型. GAN 在结构上受博弈论中的二人
零和博弈 (即二人的利益之和为零, 一方的所得正是
另一方的所失) 的启发, 系统由一个生成器和一个判
别器构成. 生成器捕捉真实数据样本的潜在分布, 并
生成新的数据样本; 判别器是一个二分类器, 判别输
入是真实数据还是生成的样本. 生成器和判别器均
可以采用目前研究火热的深度神经网络
[2]
. GAN 的
Minnesota, Minneapolis, MN 55414, USA 5. Research Cen-
ter for Computational Experiments and Parallel Systems Tech-
nology, National University of Defense Technology, Changsha
410073, China
322 自 动 化 学 报 43 卷
优化过程是一个极小极大博弈 (Minimax game) 问
题, 优化目标是达到纳什均衡
[3]
, 使生成器估测到数
据样本的分布.
在当前的人工智能热潮下, GAN 的提出满足了
许多领域的研究和应用需求, 同时为这些领域注入
了新的发展动力. GAN 已经成为人工智能学界一
个热门的研究方向, 著名学者 LeCun 甚至将其称为
“过去十年间机器学习领域最让人激动的点子”. 目
前, 图像和视觉领域是对 GAN 研究和应用最广泛
的一个领域, 已经可以生成数字、人脸等物体对象,
构成各种逼真的室内外场景, 从分割图像恢复原图
像, 给黑白图像上色, 从物体轮廓恢复物体图像, 从
低分辨率图像生成高分辨率图像等
[4]
. 此外, GAN
已经开始被应用到语音和语言处理
[5−6]
、电脑病毒
监测
[7]
、棋类比赛程序
[8]
等问题的研究中.
本文综述了生成式对抗网络 GAN 的最新研究
进展, 并对发展趋势进行展望. 第 1 节介绍 GAN 的
提出背景. 第 2 节描述 GAN 的理论与实现模型, 包
括 GNN 的基本原理、学习方法、衍生模型等. 第 3
节列举 GAN 在图像和视觉、语音和语言、信息安全
等领域的典型应用. 第 4 节对 GAN 进行思考与展
望, 讨论 GAN 与平行智能, 特别是与计算实验的关
系. 最后, 第 5 节对本文进行总结.
1 GAN 的提出背景
本节介绍 GAN 的提出背景, 以便读者更好地
理解 GAN 的研究进展和应用领域.
1.1 人工智能的热潮
近年来, 随着计算能力的提高和各行业数据量
的剧增, 人工智能取得了快速发展, 使得研究者对人
工智能的关注度和社会大众对人工智能的憧憬空前
提升
[2, 9]
. 学术界普遍认为人工智能分为两个阶段:
感知阶段和认知阶段. 在感知阶段, 机器能够接收来
自外界的各种信号, 例如视觉信号、听觉信号等, 并
对此作出判断, 对应的研究领域有图像识别、语音识
别等. 在认知阶段, 机器能够对世界的本质有一定的
理解, 不再是单纯、机械地做出判断. 基于多年的研
究经验, 本文作者认为人工智能的表现层次包括判
断、生成、理解和创造及应用, 如图 1 所示. 一方面,
这些层次相互联系相互促进; 另一方面, 各个层次之
间又有很大的鸿沟, 有待新的研究突破.
无论是普遍认为的人工智能两阶段还是本文作
者总结的人工智能四个层次, 其中都涉及理解这个
环节. 然而, 理解无论对人类还是人工智能都是内
在的表现, 无法直接测量, 只能间接从其他方面推
测. 如何衡量人工智能的理解程度, 虽然没有定论,
但是著名学者 Feynman 有句名言 “What I cannot
create, I do not understand. (不可造者, 未能知
也.)” 这说明机器制造事物的能力从某种程度上取
决于机器对事物的理解. 而 GAN 作为典型的生成
式模型, 其生成器具有生成数据样本的能力. 这种
能力在一定程度上反映了它对事物的理解. 因此,
GAN 有望加深人工智能的理解层面的研究.
图 1 人工智能的研究层次
Fig. 1 The levels of artificial intelligence
1.2 生成式模型的积累
生成式模型不仅在人工智能领域占有重要地位,
生成方法本身也具有很大的研究价值. 生成方法和
判别方法是机器学习中监督学习方法的两个分支.
生成式模型是生成方法学习得到的模型. 生成方法
涉及对数据的分布假设和分布参数学习, 并能够根
据学习而来的模型采样出新的样本. 本文认为生成
式模型从研究出发点的角度可以分为两类: 人类理
解数据的角度和机器理解数据的角度.
从人类理解数据的角度出发, 典型的做法是先
对数据的显式变量或者隐含变量进行分布假设, 然
后利用真实数据对分布的参数或包含分布的模型进
行拟合或训练, 最后利用学习到的分布或模型生成
新的样本. 这类生成式模型涉及的主要方法有最大
似然估计法、近似法
[10−11]
、马尔科夫链方法
[12−14]
等. 从这个角度学习到的模型具有人类能够理解的
分布, 但是对机器学习来说具有不同的限制. 例如,
以真实样本进行最大似然估计, 参数更新直接来自
于数据样本, 导致学习到的生成式模型受到限制. 而
采用近似法学习到的生成式模型由于目标函数难解
一般只能在学习过程中逼近目标函数的下界, 并不
是直接对目标函数的逼近. 马尔科夫链方法既可以
用于生成式模型的训练又可以用于新样本的生成,
但是马尔科夫链的计算复杂度较高.
从机器理解数据的角度出发, 建立的生成式模
型一般不直接估计或拟合分布, 而是从未明确假设
的分布中获取采样的数据
[15]
, 通过这些数据对模型
进行修正. 这样得到的生成式模型对人类来说缺乏
3 期 王坤峰等: 生成式对抗网络 GAN 的研究进展与展望 323
可解释性, 但是生成的样本却是人类可以理解的. 以
此推测, 机器以人类无法显式理解的方式理解了数
据并且生成了人类能够理解的新数据. 在 GAN 提
出之前, 这种从机器理解数据的角度建立的生成式
模型一般需要使用马尔科夫链进行模型训练, 效率
较低, 一定程度上限制了其系统应用.
GAN 提出之前, 生成式模型已经有一定研究积
累, 模型训练过程和生成数据过程中的局限无疑是
生成式模型的障碍. 要真正实现人工智能的四个层
次, 就需要设计新的生成式模型来突破已有的障碍.
1.3 神经网络的深化
过去 10 年来, 随着深度学习
[16−17]
技术在各个
领域取得巨大成功, 神经网络研究再度崛起. 神经网
络作为深度学习的模型结构, 得益于计算能力的提
升和数据量的增大, 一定程度上解决了自身参数多、
训练难的问题, 被广泛应用于解决各类问题中. 例
如, 深度学习技术在图像分类问题上取得了突破性
的效果
[18−19]
, 显著提高了语音识别的准确率
[20]
, 又
被成功应用于自然语言理解领域
[21]
. 神经网络取得
的成功和模型自身的特点是密不可分的. 在训练方
面, 神经网络能够采用通用的反向传播算法, 训练过
程容易实现; 在结构方面, 神经网络的结构设计自由
灵活, 局限性小; 在建模能力方面, 神经网络理论上
能够逼近任意函数, 应用范围广. 另外, 计算能力的
提升使得神经网络能够更快地训练更多的参数, 进
一步推动了神经网络的流行.
1.4 对抗思想的成功
从机器学习到人工智能, 对抗思想被成功引入
若干领域并发挥作用. 博弈、竞争中均包含着对抗
的思想. 博弈机器学习
[22]
将博弈论的思想与机器学
习结合, 对人的动态策略以博弈论的方法进行建模,
优化广告竞价机制, 并在实验中证明了该方法的有
效性. 围棋程序 AlphaGo
[23]
战胜人类选手引起大
众对人工智能的兴趣, 而 AlphaGo 的中级版本在训
练策略网络的过程中就采取了两个网络左右互博的
方式, 获得棋局状态、策略和对应回报, 并以包含博
弈回报的期望函数作为最大化目标. 在神经网络的
研究中, 曾有研究者利用两个神经网络互相竞争的
方式对网络进行训练
[24]
, 鼓励网络的隐层节点之间
在统计上独立, 将此作为训练过程中的正则因素. 还
有研究者
[25−26]
采用对抗思想来训练领域适应的神
经网络: 特征生成器将源领域数据和目标领域数据
变换为高层抽象特征, 尽可能使特征的产生领域难
以判别; 领域判别器基于变换后的特征, 尽可能准确
地判别特征的领域. 对抗样本
[27−28]
也包含着对抗
的思想, 指的是那些和真实样本差别甚微却被误分
类的样本或者差异很大却被以很高置信度分为某一
真实类的样本, 反映了神经网络的一种诡异行为特
性. 对抗样本和对抗网络虽然都包含着对抗的思想,
但是目的完全不同. 对抗思想应用于机器学习或人
工智能取得的诸多成果, 也激发了更多的研究者对
GAN 的不断挖掘.
2 GAN 的理论与实现模型
2.1 GAN 的基本原理
GAN 的核心思想来源于博弈论的纳什均衡. 它
设定参与游戏双方分别为一个生成器 (Generator)
和一个判别器 (Discriminator), 生成器的目的是尽
量去学习真实的数据分布, 而判别器的目的是尽量
正确判别输入数据是来自真实数据还是来自生成器;
为了取得游戏胜利, 这两个游戏参与者需要不断优
化, 各自提高自己的生成能力和判别能力, 这个学习
优化过程就是寻找二者之间的一个纳什均衡. GAN
的计算流程与结构如图 2 所示. 任意可微分的函
数都可以用来表示 GAN 的生成器和判别器, 由此,
我们用可微分函数 D 和 G 来分别表示判别器和生
成器, 它们的输入分别为真实数据 x 和随机变量 z.
G(z) 则为由 G 生成的尽量服从真实数据分布 p
data
的样本. 如果判别器的输入来自真实数据, 标注为 1.
如果输入样本为 G(z), 标注为 0. 这里 D 的目标是
实现对数据来源的二分类判别: 真 (来源于真实数据
x 的分布) 或者伪 (来源于生成器的伪数据 G(z)),
而 G 的目标是使自己生成的伪数据 G(z) 在 D 上
的表现 D(G(z)) 和真实数据 x 在 D 上的表现 D(x)
一致, 这两个相互对抗并迭代优化的过程使得 D 和
图 2 GAN 的计算流程与结构
Fig. 2 Computation procedure and structure of GAN
剩余11页未读,继续阅读
慎也
- 粉丝: 52
- 资源: 485
上传资源 快速赚钱
- 我的内容管理 收起
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
会员权益专享
最新资源
- 2022年中国足球球迷营销价值报告.pdf
- 房地产培训 -营销总每天在干嘛.pptx
- 黄色简约实用介绍_汇报PPT模板.pptx
- 嵌入式系统原理及应用:第三章 ARM编程简介_3.pdf
- 多媒体应用系统.pptx
- 黄灰配色简约设计精美大气商务汇报PPT模板.pptx
- 用matlab绘制差分方程Z变换-反变换-zplane-residuez-tf2zp-zp2tf-tf2sos-sos2tf-幅相频谱等等.docx
- 网络营销策略-网络营销团队的建立.docx
- 电子商务示范企业申请报告.doc
- 淡雅灰低面风背景完整框架创业商业计划书PPT模板.pptx
- 计算模型与算法技术:10-Iterative Improvement.ppt
- 计算模型与算法技术:9-Greedy Technique.ppt
- 计算模型与算法技术:6-Transform-and-Conquer.ppt
- 云服务安全风险分析研究.pdf
- 软件工程笔记(完整版).doc
- 电子商务网项目实例规划书.doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0