书书书
第
４０
卷
第
６
期
２０１７
年
６
月
计
算
机
学
报
ＣＨＩＮＥＳＥ
ＪＯＵＲＮＡＬ
ＯＦ
ＣＯＭＰＵＴＥＲＳ
Ｖｏｌ．４０ Ｎｏ．６
Ｊｕｎｅ
２０１７
收稿日期
：
２０１６
－
０７
－
２７
；
在线出版日期
：
２０１７
－
０１
－
１８．
周飞 燕
，
女
，
１９８６
年 生
，
博 士 研 究 生
，
主要研究方向为计算机辅助心血管疾病诊断
．
Ｅ
－
ｍａｉｌ
：
ｚｈｆ
ｙｙ
ｆ１５
＠
１２６．ｃｏｍ．
金林鹏
，
男
，
１９８４
年生
，
博士
，
主要研究方向为机器学习
．
董
军
（
通信作者
），
男
，
１９６４
年生
，
博士
，
研究员
，
博
士生导师
，
主要研究领域为人工智能及其在健康监护
、
传统文化中的应用
．Ｅ
－
ｍａｉｌ
：
ｊ
ｄｏｎ
ｇ
２０１０
＠
ｓｉｎａｎｏ．ａｃ．ｃｎ．
卷积神经网络研究综述
周飞燕
１
），
２
）
金林鹏
１
），
２
）
董
军
１
）
１
）
（
中国科学院苏州纳米技术与纳米仿生研究所
江苏 苏州
２１５１２３
）
２
）
（
中国科学院大学
北京
１０００４９
）
摘
要
作为一个十余年来快速发展的崭新领域
，
深度学习受到了越来越多研究者的关注
，
它在特征提取和建模
上都有着相较于浅层模型显然的优势
．
深度学习善于从原始输入数据中挖掘越来越抽象的特征表示
，
而这些表示
具有良好的泛化能力
．
它克服了过去人工智能中被认为难以解决的一些问题
．
且随着训练数据集数量的显著增长
以及芯片处理能力的剧增
，
它在目标检测和计算机视觉
、
自然语言处理
、
语音识别和语义分析等领域成效卓然
，
因
此也促进了人工智能的发展
．
深度学习是包含多级非线性变换的层级机器学习方法
，
深层神经网络是目前的主要
形式
，
其神经元间的连接模式受启发于动物视觉皮层组织
，
而卷积神经网络则是其中一种经典而广泛应用的结构
．
卷积神经网络的局部连接
、
权值共享及池化操作等特性使之可以有效地降低网络的复杂度
，
减少训练参数的数目
，
使模型对平移
、
扭曲
、
缩放具有一定程度的不变性
，
并具有强鲁棒性和容错能力
，
且也易于训练和优化
．
基于这些优
越的特性
，
它在各种信号和信息处理任务中的性能优于标准的全连接神经网络
．
该文首先概述了卷积神经网络的
发展历史
，
然后分别描述了神经元模型
、
多层感知器的结构
．
接着
，
详细分析了卷积神经网络的结构
，
包括卷积层
、
池化层
、
全连接层
，
它们发挥着不同的作用
．
然后
，
讨论了网中网模型
、
空间变换网络等改进的卷积神经网络
．
同时
，
还分别介绍了卷积神经网络的监督学习
、
无监督学习训练方法以及一些常用的开源工具
．
此外
，
该文以图像分类
、
人脸识别
、
音频检索
、
心电图分类及目标检测等为例
，
对卷积神经网络的应用作了归纳
．
卷积神经网络与递归神经
网络的集成是一个途径
．
为了给读者以尽可能多的借鉴
，
该文还设计并试验了不同参数及不同深度的卷积神经网
络来分析各参数间的相互关系及不同参数设置对结果的影响
．
最后
，
给出了卷积神经网络及其应用中待解决的若
干问题
．
关键词
卷积神经网络
；
深度学习
；
网络结构
；
训练方法
；
领域数据
中图法分类号
ＴＰ１８
ＤＯＩ
号
１０．１１８９７
／
ＳＰ．Ｊ．１０１６．２０１７．０１２２９
Ｒｅｖｉｅｗ
ｏｆ
Ｃｏｎｖｏｌｕｔｉｏｎａｌ
Ｎｅｕｒａｌ
Ｎｅｔｗｏｒｋ
ＺＨＯＵ
Ｆｅｉ
－
Ｙａｎ
１
），
２
）
ＪＩＮ
Ｌｉｎ
－
Ｐｅｎ
ｇ
１
），
２
）
ＤＯＮＧ
Ｊｕｎ
１
）
１
）
（
Ｓｕｚｈｏｕ
Ｉｎｓｔｉｔｕｔｅ
ｏ
ｆ
Ｎａｎｏ
－
Ｔｅｃｈ
ａｎｄ
Ｎａｎｏ
－
Ｂｉｏｎｉｃｓ
，
Ｃｈｉｎｅｓｅ
Ａｃａｄｅｍ
ｙ
ｏ
ｆ
Ｓｃｉｅｎｃｅｓ
，
Ｓｕｚｈｏｕ
，
Ｊｉａｎ
ｇ
ｓｕ
２１５１２３
）
２
）
（
Ｕｎｉｖｅｒｓｉｔ
ｙ
ｏ
ｆ
Ｃｈｉｎｅｓｅ
Ａｃａｄｅｍ
ｙ
ｏ
ｆ
Ｓｃｉｅｎｃｅｓ
，
Ｂｅｉ
ｊ
ｉｎ
ｇ
１０００４９
）
Ａｂｓｔｒａｃｔ
Ａｓ
ａ
ｎｅｗ
ａｎｄ
ｒａ
ｐ
ｉｄｌ
ｙ
ｇ
ｒｏｗｉｎ
ｇ
ｆｉｅｌｄ
ｆｏｒ
ｍｏｒｅ
ｔｈａｎ
ｔｅｎ
ｙ
ｅａｒｓ
，
ｄｅｅ
ｐ
ｌｅａｒｎｉｎ
ｇ
ｈａｓ
ｇ
ａｉｎｅｄ
ｍｏｒｅ
ａｎｄ
ｍｏｒｅ
ａｔｔｅｎｔｉｏｎ
ｆｒｏｍ
ｄｉｆｆｅｒｅｎｔ
ｒｅｓｅａｒｃｈｅｒｓ．Ｃｏｍ
ｐ
ａｒｅｄ
ｗｉｔｈ
ｓｈａｌｌｏｗ
ａｒｃｈｉｔｅｃｔｕｒｅｓ
，
ｉｔ
ｈａｓ
ｇ
ｒｅａｔ
ａｄｖａｎｔａ
ｇ
ｅｓ
ｉｎ
ｂｏｔｈ
ｆｅａｔｕｒｅ
ｅｘｔｒａｃｔｉｎ
ｇ
ａｎｄ
ｍｏｄｅｌ
ｆｉｔｔｉｎ
ｇ
．Ａｎｄ
ｉｔ
ｉｓ
ｖｅｒ
ｙ
ｇ
ｏｏｄ
ａｔ
ｄｉｓｃｏｖｅｒｉｎ
ｇ
ｉｎｃｒｅａｓｉｎ
ｇ
ｌ
ｙ
ａｂｓｔｒａｃｔ
ｆｅａｔｕｒｅ
ｒｅ
ｐ
ｒｅｓｅｎｔａｔｉｏｎｓ
ｗｈｏｓｅ
ｇ
ｅｎｅｒａｌｉｚａｔｉｏｎ
ａｂｉｌｉｔ
ｙ
ｉｓ
ｓｔｒｏｎ
ｇ
ｆｒｏｍ
ｔｈｅ
ｒａｗ
ｉｎ
ｐ
ｕｔ
ｄａｔａ．Ｉｔ
ａｌｓｏ
ｈａｓ
ｓｕｃｃｅｓｓｆｕｌｌ
ｙ
ｓｏｌｖｅｄ
ｓｏｍｅ
ｐ
ｒｏｂｌｅｍｓ
ｗｈｉｃｈ
ｗｅｒｅ
ｃｏｎｓｉｄｅｒｅｄ
ｄｉｆｆｉｃｕｌｔ
ｔｏ
ｓｏｌｖｅ
ｉｎ
ａｒｔｉｆｉｃｉａｌ
ｉｎｔｅｌｌｉ
ｇ
ｅｎｃｅ
ｉｎ
ｔｈｅ
ｐ
ａｓｔ．Ｆｕｒｔｈｅｒｍｏｒｅ
，
ｗｉｔｈ
ｔｈｅ
ｏｕｔｓｔａｎｄｉｎ
ｇ
ｌ
ｙ
ｉｎｃｒｅａｓｅｄ
ｓｉｚｅ
ｏｆ
ｄａｔａ
ｕｓｅｄ
ｆｏｒ
ｔｒａｉｎｉｎ
ｇ
ａｎｄ
ｔｈｅ
ｄｒａｓｔｉｃ
ｉｎｃｒｅａｓｅｓ
ｉｎ
ｃｈｉ
ｐ
ｐ
ｒｏｃｅｓｓｉｎ
ｇ
ｃａ
ｐ
ａｂｉｌｉｔｉｅｓ
，
ｉｔ
ｈａｓ
ｒｅｓｕｌｔｅｄ
ｉｎ
ｓｉ
ｇ
ｎｉｆｉ
－
ｃａｎｔ
ｐ
ｒｏ
ｇ
ｒｅｓｓ
ａｎｄ
ｂｅｅｎ
ｕｓｅｄ
ｉｎ
ａ
ｂｒｏａｄ
ａｒｅａ
ｏｆ
ａ
ｐｐ
ｌｉｃａｔｉｏｎｓ
ｓｕｃｈ
ａｓ
ｏｂ
ｊ
ｅｃｔ
ｄｅｔｅｃｔｉｏｎ
，
ｃｏｍ
ｐ
ｕｔｅｒ
ｖｉｓｉｏｎ
，
ｎａｔｕｒａｌ
ｌａｎ
ｇ
ｕａ
ｇ
ｅ
ｐ
ｒｏｃｅｓｓｉｎ
ｇ
，
ｓ
ｐ
ｅｅｃｈ
ｒｅｃｏ
ｇ
ｎｉｔｉｏｎ
ａｎｄ
ｓｅｍａｎｔｉｃ
ｐ
ａｒｓｉｎ
ｇ
ａｎｄ
ｓｏ
ｏｎ
，
ｔｈｕｓ
ａｌｓｏ
剩余22页未读，继续阅读
评论0