ReLU",去掉了一些不必要的层。
2.1.2 基本结构
LeNet-5包含两个卷积层,每个卷积层后跟一个池化层,然后是两个全连接层,最后是softmax分类器。它引入了权值共享的概念,减少了参数数量,降低了过拟合的风险。
2.2 AlexNet
2.2.1 概述
AlexNet[2]由Alex Krizhevsky在2012年的ImageNet竞赛中提出,它首次展示了深度学习在图像分类上的强大能力,比传统的机器学习方法表现更优。
2.2.2 基本结构
AlexNet比LeNet更深,拥有8个层,包括5个卷积层和3个全连接层。它引入了ReLU激活函数以解决梯度消失问题,并使用数据增强来扩充训练集,有效提高了模型泛化能力。
2.3 ZFNet
2.3.1 概述
ZFNet[3]是对AlexNet的改进,由Zeiler和Fergus在2013年提出,主要改进在于优化了卷积层的滤波器大小和位置,以更好地理解图像特征。
2.4 VGGNet
2.4.1 概述
VGGNet[4]由Simonyan和Zisserman于2014年提出,以其深且小的卷积核著称,通过增加网络深度来提高特征提取能力。
2.4.2 基本结构
VGGNet的特点是使用3x3的小卷积核,堆叠多层,形成深网络。这使得模型具有较高的计算成本,但分类效果显著。
2.5 GoogLeNet (Inception)
2.5.1 概述
GoogLeNet[5]是Szegedy等人在2014年提出的,引入了Inception模块,减少了参数数量,同时保持了模型的深度和宽度。
2.5.2 基本结构
Inception模块利用多个不同大小的卷积核并行处理,结合池化层,提高了网络的效率和性能。
2.6 ResNet
2.6.1 概述
ResNet[6]由He等人在2015年提出,解决了深度网络中的梯度消失问题,通过残差块允许信号直接传递到深层,使得极深的网络也能训练。
2.6.2 基本结构
ResNet的核心是残差块,它包含两个或三个卷积层,通过跳接连接确保每一层的输出都能直接影响最终结果。
2.7 SENet
2.7.1 概述
SENet[7](Squeeze-and-Excitation Networks)由Hu等人在2017年提出,引入了注意力机制,增强了模型对特征的挑选和利用。
2.7.2 基本结构
SEBlock通过全局平均池化获取通道间的信息,然后通过两个全连接层调整通道权重,增强了模型对关键特征的响应。
2.8 DenseNet
2.8.1 概述
DenseNet[8]由Huang等人在2017年提出,特点是每个层都与所有其他层相连,提高了特征的重用,减少了训练难度。
2.8.2 基本结构
DenseBlock中的每个层都会接收前一层的输出作为输入,通过这种方式构建稠密连接,降低了梯度消失的可能性。
这些经典网络模型各有特色,随着技术的不断进步,它们在深度学习领域中扮演了重要角色。通过对比和分析,我们可以更好地理解不同网络架构的设计思路,为实际应用提供参考。