没有合适的资源?快使用搜索试试~ 我知道了~
首页卷积神经网络前向及反向传播过程数学解析.pdf
资源详情
资源评论
资源推荐

卷积神经网络的前向及反向传播过程数学解析
1、卷积神经网络初印象
上述图片只是为了让大家对卷积神经网络有一个初步的认识,知道大概会
是一个什么样的结构,图中下标有点错误大家忽略哈!只需要看这整个过程即
可。
2、卷积神经网络性质
卷积神经网络具有几个和全连接神经网络不同的性质,和一些需要注意的特
性,这个需要提前了解,这里先列举出来:
(1)稀疏性(也可以叫局部感受野):对于全连接网络,上一层神经元都全部
与下一层神经元每个神经元连接,而对于卷积神经网络,上一层神经元只有局
部与下一层的神经元连接,如下图,与下一层神经元连接的局部区域也叫做局
部感受野,通常由一个(n,n)矩阵表示。

然后我们往右移动一个像素(一个神经元)移动局部感受野,连接下一个神经
元。
(2)参数共享:不同于全连接神经网络的每一个上一层神经元对于下一层神经
元都有单独的参数,卷积神经网络对下一层所有神经元都使用同一个参数(都
为上述的(n,n)矩阵)得到,这也就意味着下一层所有神经元检测到完全相同
的特征,只不过是在上一层神经元不同位置。这种性质是很有现实意义的,我
们想象下,对于一幅图像每一处位置,假如需要检测一些相同的特征,比如物
体的边缘,我们其实只需要一个专门用于检测边缘的参数即可,无需对于每个
不同局部感受野都采用不同参数,这样需要的参数也更少。
因为这个原因,所以我们把上一层到下一层的映射称为一个特征映射,我
们把定义特征的映射的权重称为共享权重,以这种方式定义特征映射的偏置称

为共享偏置,其统称为一个卷积核或者滤波器。往往一个卷积核只能检测一种
局部特征的类型,所以往往我们需要多个卷积核来实现对输入层多个特征的映
射,如下图:
(3)池化层(pooling layer):在全连接网络中,我们并不会对隐含层的神
经元尺寸进行后续缩放,但是在卷积神经网络中我们往往需要做一个池化层的
操作,简化从卷积层的输出。其有一个直观理解就是,一但一个特征被发现,
往往它的准确位置没有相对于其他特征位置的信息重要,并且这样可以减少后
续参数数量。常采用的是最大池化,也就是取池化部位的最大值,如下图所
示:

(4)多输入特征的卷积运算规则:往往上一层网络有多个特征映射,比如上面
例子的 3×24×24 特征映射,有 3 个特征映射,又比如对于输入的图像为 RGB
图像,往往也有三个通道,这个时候我们允许下一层的每个神经元从它的局部
感受野中所有 3×n×n(n 为卷积核大小)输入神经元学习,具体怎么学习呢?
就是对于下一层每个神经元其输入为上一层每个特征映射的局部感受野的权重
和,简单说就是对不同特征映射采用不同的卷积核,然后加起来作为下一层神
经元的输入,对于步长为 1 的卷积,公式表示如下:
其中 Z 表示神经元的输入值,l 表示第 l 层,i 表示其第 i 个特征向量(也就是
之前说的特征映射,后续都用”特征向量“表示),j、k 表示一个特征向量第
j 行,第 k 列;A 表示神经元的输出值,s 表示该层的特征向量数,m、n 表示一
个卷积核第(m,n)个的值,B 为偏置。由于一般线性代数中下标都从 1 开始,所
以上式有-1 这项。而对于步长为 d 的卷积运算,其公式为:
3、前向传播
3.1、卷积层层级间传递
这里来对下面这个卷积神经网络结构进行分析:
剩余16页未读,继续阅读

















安全验证
文档复制为VIP权益,开通VIP直接复制

评论0