卷积神经网络知识学习笔记卷积神经网络知识学习笔记
卷积神经网络(CNN)是含有卷积层(convolutional layer)的神经网络,二维卷积层有高和宽两个空间维度,常用来处理图
像数据。
卷积层
虽然卷积层得名于卷积(convolution)运算,但我们通常在卷积层中使用更加直观的互相关(cross-correlation)运算。关于
卷积运算和互相关运算的关系可以查看这里。
二维互相关
二维卷积层输出的二维数组可以看作是输入在空间维度(宽和高)上某一级的表征,也叫特征图(feature map)。影响元素
的前向计算的所有可能输入区域(可能大于输入的实际尺寸)叫做 的感受野(receptive field)。
填充(padding)是指在输和宽的两侧填充元素(通常是0元素),每次滑动的数和列数称为步幅(stride)。
彩图像在和宽2个维度外还有RGB(红、绿、蓝)3个颜通道,假设彩图像的和宽分别是h和w(像素),那么它可以表为个3 ×
h × w的多维数组,我们将小为3的这维称为通道(channel)维。
池化层
池化(pooling)层的提出是为了缓解卷积层对位置的过度敏感性。不同于卷积层计算输和核的互相关性,池化层直接计算池
化窗口内元素的最值或者平均值,该运算也分别叫做最池化或平均池化。
最大池化
池化层填充和步幅与卷积层填充和步幅的作机制样,池化层在处理多通道输数据时是对每个输通道分别池化,而不是像卷积层
那样将各通道的输按通道相加。
代表性卷积神经网络
卷积神经网络(LeNet)
LeNet分为卷积层块和全连接层块两个部分。
卷积层块里的基本单位是卷积层后接最大池化层:卷积层用来识别图像里的空间模式,例如线条和物体局部,之后的最大池化
层则用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。
卷积层块的输出形状为(批量大小,通道,高,宽)。当卷积层块的输出传入全连接层块时,全连接层块会将小批量中每个样
本变平(flatten)。也就是说,全连接层的输入形状将变成二维,其中第一维为小批量中的样本,第二维为每个样本变平后的
向量表示,且向量长度为通道、高和宽的乘积。
LeNet交替使卷积层和最池化层后接全连接层来进图像分类。LeNet的详细结构可以查看这里。
深度卷积神经网络(AlexNet)