收稿日期
: 2012-03-09;
修回日期
: 2012-04-10
作者简介
:
孙志军
( 1985-) ,
男
,
吉林磐石人
,
博士研究生
,
主要研究方向为机器学习
、
模式识别
( robotman@ 126. com) ;
薛磊
( 1963-) ,
男
,
安徽霍
丘人
,
教授
,
博导
,
主要研究方向为通信系统
、
通信信号处理
;
许阳明
( 1964-) ,
男
,
安徽舒城人
,
副教授
,
主要研究方向为无线通信
、
通信信号处理
;
王正
( 1973-) ,
男
,
福建莆田人
,
讲师
,
博士研究生
,
主要研究方向为数据融合
、
智能信号处理
.
深度学习研究综述
孙志军
1
,
薛 磊
1,2
,
许阳明
1,2
,
王 正
1,2
( 1.
电子工程学院
,
合肥
230037; 2.
安徽省电子制约技术重点实验室
,
合肥
230037)
摘 要
:
深度学习是一类新兴的多层神经网络学习算法
,
因其缓解了传统训练算法的局部最小性
,
引起机器学
习领域的广泛关注
。
首先论述了深度学习兴起渊源
,
分析了算法的优越性
,
并介绍了主流学习算法及应用现状
,
最后总结了当前存在的问题及发展方向
。
关键词
:
深度学习
;
分布式表示
;
深信度网络
;
卷积神经网络
;
深凸网络
中图分类号
: TP181
文献标志码
: A
文章编号
: 1001-3695( 2012) 08 -2806-05
doi: 10. 3969 /j. issn. 1001-3695. 2012. 08. 002
Overview of deep learning
SUN Zhi-jun
1
,XUE Lei
1,2
,XU Yang-ming
1,2
,WANG Zheng
1,2
( 1. Electronic Engineering Institute,Hefei 230037,China; 2. Key Laboratory of Electronic Restriction,Hefei 230037,China)
Abstract : Deep learning is a new way of training multi-layer neural network. The optimization difficulty associated with the
deep models can be alleviated,it has induced great attention of machine learning community. Firstly,this paper discussed the
origin of deep learning
,then analyzed virtue brought by deep le arning. It introduced the main stream deep learning algorithm
and their applicati o ns. Finally it conc l uded the problem remaining and development orientation.
Key words: deep learning; distributed representation; deep belief network; convolutional neural network; deep co nvex
network
0 引言
深度学习的概念源于人工神经网络的研究
,
含多隐层的多
层感知器
( MLP)
就是一种深度学习结构
。
深度学习通过组合
低层特征形成更加抽象的高层表示
(
属性类别或特征
) ,
以发
现数据的分布式特征表示
[1]
。BP
算法作为传统训练多层网络
的典型算法
,
实际上对于仅含几层网络
,
该训练方法就已很不
理想
[2]
。
深度结构
(
涉及多个非线性处理单元层
)
非凸目标代
价函数中普遍存在的局部最小是训练困难的主要来源
。
Hinton
等人
[3 ~ 5]
基于深信度网
( DBN)
提出非监督贪心逐
层训练算法
,
为解决深层结构相关的优化难题带来希望
,
随后
提出多层自动编码器深层结构
。
此外
Lecun
等人提出的卷积
神经网络
( CNNs)
是第一个真正多层结构学习算法
[6]
,
它利用
空间相对关系减少参数数目以提高
BP
训练性能
。
此外深度
学习还出现许多变形结构如去噪自动编码器
[7]
、DCN
[8]
、sum-
product
[9]
等
。
当前多数分类
、
回归等学习方法为浅层结构算法
,
其局限
性在于有限样本和计算单元情况下对复杂函数的表示能力有
限
,
针对复杂分类问题其泛化能力受到一定制约
[2]
。
深度学
习可通过学习一种深层非线性网络结构
,
实现复杂函数逼近
,
表征输入数据分布式表示
,
并展现了强大的从少数样本集中学
习数据集本质特征的能力
[1,10]
。
本文意在向读者介绍这一刚
刚兴起的深度学习新技术
。
1 深度学习神经学启示及理论依据
1
.
1 深度学习神经学启示
尽管人类每时每刻都要面临着大量的感知数据
,
却总能以
一种灵巧方式获取值得注意的重要信息
。
模仿人脑那样高效
准确地表示信息一直是人工智能研究领域的核心挑战
。
神经
科学研究人员利用解剖学知识发现哺乳类动物大脑表示信息
的方式
:
通过感官信号从视网膜传递到前额大脑皮质再到运动
神经的时间
,
推断出大脑皮质并未直接地对数据进行特征提取
处理
,
而是使接收到的刺激信号通过一个复杂的层状网络模
型
,
进而获取观测数据展现的规则
[11 ~ 13]
。
也就是说
,
人脑并不
是直接根据外部世界在视网膜上投影
,
而是根据经聚集和分解
过程处理后的信息来识别物体
。
因此视皮层的功能是对感知
信号进行特征提取和计算
,
而不仅仅是简单地重现视网膜的图
像
[14]
。
人类感知系统这种明确的层次结构极大地降低了视觉
系统处理的数据量
,
并保留了物体有用的结构信息
。
对于要提
取具有潜在复杂结构规则的自然图像
、
视频
、
语音和音乐等结
构丰富数据
,
深度学习能够获取其本质特征
。
受大脑结构分层次启发
,
神经网络研究人员一直致力于多
层神经网络的研究
。BP
算法是经典的梯度下降并采用随机选
定初始值的多层网络训练算法
,
但因输入与输出间非线性映射
使网络误差函数或能量函数空间是一个含多个极小点的非线
性空间
,
搜索方向仅是使网络误差或能量减小的方向
,
因而经
第
29
卷第
8
期
2012
年
8
月
计算机应用研究
Application Research of Computers
Vol. 29 No. 8
Aug. 2012