![](https://csdnimg.cn/release/download_crawler_static/87176803/bg5.jpg)
2.2.1 卷积层〔The convolutional layer〕
1、局部感知
卷积神经网络有两种神器可以降低参数数目,第一种神器叫做局部感知野。
一般认为人对外界的认知是从局部到全局的,而图像的空间联系也是局部的像
素联系较为紧密,而距离较远的像素相关性那么较弱。因而,每个神经元其实
没有必要对全局图像进行感知,只需要对局部进行感知,然后在更高层将局部
的信息综合起来就得到了全局的信息。网络局部连通的思想,也是受启发于生
物学里面的视觉系统结构。视觉皮层的神经元就是局部接受信息的〔即这些神
经元只响应某些特定区域的刺激〕。如下列图所示:左图为全连接,右图为局部
连接。
在上右图中,假设每个神经元只和它前一层邻近的 10×10 个像素值相连,那
么权值数据为 1000000×100 个参数,减少为原来的万分之一。而那 10×10 个像
素值对应的 10×10 个参数,其实就相当于卷积操作。
2、权值共享
但其实这样的话参数仍然过多,那么就启动第二级神器,即权值共享。在上
面的局部连接中,每个神经元都对应 100 个参数,一共 1000000 个神经元,如
果这 1000000 个神经元的 100 个参数都是相等的,那么参数数目就变为 100 了。
怎么理解权值共享呢?我们可以这 100 个参数〔也就是卷积操作〕看成是提
取特征的方式,该方式与位置无关。这其中隐含的原理那么是:图像的一局部
的统计特性与其他局部是一样的。这也意味着我们在这一局部学习的特征也能
用在另一局部上,所以对于这个图像上的所有位置,我们都能使用同样的学习
特征。
更直观一些,当从一个大尺寸图像中随机选取一小块,比方说 8×8 作为样
本,并且从这个小块样本中学习到了一些特征,这时我们可以把从这个 8×8 样
本中学习到的特征作为探测器,应用到这个图像的任意地方中去。特别是,我
们可以用从 8×8 样本中所学习到的特征跟原本的大尺寸图像作卷积,从而对这
个大尺寸图像上的任一位置获得一个不同特征的激活值。
如下列图所示,展示了一个 3×3 的卷积核在 5×5 的图像上做卷积的过程。每
个卷积都是一种特征提取方式,就像一个筛子,将图像中符合条件的局部筛选
出来。
〔图片为 gif 格式〕
3、多卷积核
上面所述只有 100 个参数时,说明只有 1 个 10×10 的卷积核,显然,特征提
取是不充分的,我们可以添加多个卷积核,比方 32 个卷积核,可以学习 32 种
特征。在有多个卷积核时,如下列图所示:
上图右,不同颜色说明不同的卷积核。每个卷积核都会将图像生成为另一幅
图像。比方两个卷积核就可以将生成两幅图像,这两幅图像可以看做是一张图
像的不同的通道,如下列图所示。
下列图展示了在四个通道上的卷积操作,有两个卷积核,生成两个通道。其
中需要注意的是,四个通道上每个通道对应一个卷积核,先将𝑊
1
忽略,只看𝑊
0
,
那么在𝑊
0
的某位置(𝑖, 𝑗)处的值,是由四个通道上(𝑖, 𝑗)处邻近区域的卷积结果相
加然后再取激活函数〔假设选择 tanh 函数〕值得到的。