重庆大学硕士学位论文 2 卷积神经网络的基本理论及加速研究现状
2 卷积神经网络的基本理论及加速研究现状
2.1 卷积神经网络的概述
卷积神经网络 CNN(Convolution Neural Networks),本质上是一种多层感知
器,由生物学家通过研究猫的视觉皮层一步一步发展起来的
[24]
。视觉皮层细胞里
面的结构非常复杂,并且视觉皮层细胞对视觉输入空间子区域的敏感度极高,用
这样的方式平铺覆盖了整个视野区域,因此被称为感受野。对这些细胞进行有效
区分,分为简单细胞和复杂细胞两种类型。简单细胞对来自感受野范围内边缘刺
激的模式产生最大程度的响应,而复杂细胞的接受域较大,如果对复杂细胞进行
刺激的位置是确定的,那么复杂细胞就具有局部不变性。可以把处于神经网络中
的每个神经元节点都看作是线性的一维排列结构,层与层的每个神经元节点之间
的连接均是全部连接。但是,卷积神经网络里面层与层间神经元节点的连接并不
是全连接形式,而是在充分利用层间局部空间相关性的基础上,将上层的神经元
节点和相邻每层的神经元节点连接起来,被称为局部连接。卷积层的卷积滤波器
需要在整个感受野中执行重复操作,并对输入的图像进行实时卷积,卷积结果便
构成了输入图像的特征图,并以一定的规则提取图像的局部特征,这就是卷积神
经网络的权值共享。每个卷积滤波器采用相同偏置和权重矩阵,实现相同的参数
共享。卷积神经网络是一种特殊的能够对图像进行识别的方式,是一种非常有效
的带有前向反馈的网络。CNN 最初的主要目标是识别二维图形,因为它的网络结
构对平移、比例缩放、倾斜或其他形式具有高度不变性。现在,卷积神经网络结
构已被广泛应用在机器视觉、模式识别、视频监控和图像搜索等领域。
2.1.1 卷积神经网络的结构
图像通过输入层进入卷积神经网络,然后通过一系列隐藏层的转换,最后输出,
每个隐藏层都由一组神经元组成,每个神经元和前一层神经元的连接都是完全连
接,且单层神经元的功能是完全独立地,不存在任何连接共享。最后的全连接层
作为输出层,实现分类功能并输出分类的分值。
对于完全连接结构的神经网络在 CIFAR-10 训练集中,图片的大小为 32*32*3
(即 32 宽 32 高 3 颜色通道),第一隐藏层的神经元个数是 32*32*3=3072 个,这
个数字看起来能够接受,但这种全连接的结构不能适应更大的图片,比如一个大
小为 200*200*3 的图片,会产生 200*200*3=120000 个神经元。显而易见,这种完
全连接结构会造成很大的浪费,且过多的参数容易导致过拟合。
卷积神经网络的巨大优势在于对巨量图片的输入,能以一种更加合理的方式
限制其结构。卷积神经网络不同于一般神经网络结构,其各层安排在了长、宽、
6