卷积神经网络 CNN 从入门到精通
卷积神经网络算法的一个实现
前言
从理解卷积神经到实现它，前后花了一个月时间，现在也还有一些地方没有理解透
彻，CNN 还是有一定难度的，不是看哪个的博客和一两篇论文就明白了，主要还是靠
自己去专研，阅读推荐列表在末尾的参考文献。目前实现的 CNN 在 MINIT 数据集上效
果还不错，但是还有一些 bug，因为最近比较忙，先把之前做的总结一下，以后再继续
优化。
卷积神经网络 CNN 是 Deep Learning 的一个重要算法，在很多应用上表现出卓
越的效果，[1]中对比多重算法在文档字符识别的效果，结论是 CNN 优于其他所有的算
法。CNN 在手写体识别取得最好的效果，[2]将 CNN 应用在基于人脸的性别识别，效
果也非常不错。前段时间我用 BP 神经网络对手机拍照图片的数字进行识别，效果还算
不错，接近 98%，但在汉字识别上表现不佳，于是想试试卷积神经网络。
1、CNN 的整体网络结构
卷积神经网络是在 BP 神经网络的改进，与 BP 类似，都采用了前向传播计算输出
值，反向传播调整权重和偏置；CNN 与标准的 BP 最大的不同是：CNN 中相邻层之间
的神经单元并不是全连接，而是部分连接，也就是某个神经单元的感知区域来自于上层
的部分神经单元，而不是像 BP 那样与所有的神经单元相连接。CNN 的有三个重要的思
想架构：
局部区域感知
权重共享
空间或时间上的采样
局部区域感知能够发现数据的一些局部特征，比如图片上的一个角，一段弧，这些
基本特征是构成动物视觉的基础[3]；而 BP 中，所有的像素点是一堆混乱的点，相互之
间的关系没有被挖掘。
CNN 中每一层的由多个 map 组成，每个 map 由多个神经单元组成，同一个 map
的所有神经单元共用一个卷积核（即权重），卷积核往往代表一个特征，比如某个卷积
和代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能
是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固
定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络，
实际上，BP 也可以看做一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权
重，即感知区域是整个图像。权重共享策略减少了需要训练的参数，使得训练出来的模
型的泛华能力更强。
采样的目的主要是混淆特征的具体位置，因为某个特征找出来后，它的具体位置已
经不重要了，我们只需要这个特征与其他的相对位置，比如一个“8”，当我们得到了上
面一个"o"时，我们不需要知道它在图像的具体位置，只需要知道它下面又是一个“o”我
们就可以知道是一个'8'了，因为图片中"8"在图片中偏左或者偏右都不影响我们认识它，
这种混淆具体位置的策略能对变形和扭曲的图片进行识别。
CNN 的这三个特点是其对输入数据在空间（主要针对图像数据）上和时间（主要
针对时间序列数据，参考 TDNN）上的扭曲有很强的鲁棒性。CNN 一般采用卷积层与
剩余82页未读，继续阅读
评论0