LeNet-5深度学习经典网络架构详解

深度学习500问-Tan-04第四章经典网络详细解析 本章节聚焦于经典网络中的LeNet-5，这是一种早期广泛用于图像识别任务，特别是手写数字识别的卷积神经网络（CNN）。LeNet-5由7层组成，不含输入层，每一层都具有可训练参数，其核心在于卷积层和下采样层的设计。 1. **C1 卷积层**： - 输入尺寸：32x32像素 - 卷积核大小：5x5 - 卷积核数量：6种 - 输出特征图（FeatureMap）大小：28x28（由于步长为1，没有填充） - 神经元数量：28x28x6 - 可训练参数：每个滤波器（5x5+1）个单元参数加上偏置，共186个参数，连接数计算密集。 2. **S2 下采样层**： - 输入：28x28 - 采样区域：2x2 - 采样方式：每个2x2区域求和后经过sigmoid激活 - 采样种类：6种 - 输出特征图大小：14x14（28/2） - 神经元数量：14x14x6 - 可训练参数：仅两个参数（和的权+偏置），共12个 3. **C3 再次卷积层**： - 输入：来自S2的所有6个特征图的组合 - 卷积核大小：5x5 - 卷积核数量：16种 - 输出特征图大小：10x10 - C3的特点是不同特征图组合作用，如前6个特征图取3个相邻子集，后续取不相邻子集 - 可训练参数：计算复杂，涉及多个子集的组合，共计1516个参数 - 连接数：10x10x1516 4. **S4 最后一个下采样层**： - 输入：10x10 - 采样方式同S2，但种类为16 - 输出特征图大小：5x5 - 神经元数量：5x5x16 - 可训练参数：2x16=32个 LeNet-5的关键在于其逐步降低空间分辨率同时增加特征复杂性的设计，通过卷积和下采样操作提取图像特征，减少了参数数量，降低了过拟合风险。这一架构奠定了后续深度学习网络的基础，对于理解卷积神经网络的工作原理和应用有着重要意义。