深度学习突破：AlexNet与卷积神经网络进阶

《动手学——卷积神经网络进阶》笔记主要介绍了深度卷积神经网络（AlexNet）的发展和应用，尤其是在计算机视觉领域的突破。LeNet作为早期尝试，虽然在大规模真实数据集上表现不佳，这反映了当时神经网络计算复杂性的问题，以及对参数初始化和非凸优化算法的不足。 文章强调了特征提取的重要性，区分了两种方法：机器学习中手工定义的特征提取函数与神经网络通过学习自适应地提取多级特征。AlexNet的关键贡献在于它证明了自动学习的特征可以超越人工设计，从而推动了计算机视觉领域的研究进步。 AlexNet的设计包括8层结构，其中5层卷积层用于局部特征检测，2层全连接隐藏层处理高级特征表示，以及一个全连接输出层进行分类。它采用了ReLU激活函数，相比于Sigmoid，ReLU更高效且有助于避免梯度消失问题。Dropout技术被用来防止过拟合，通过随机关闭一部分神经元，增加模型的泛化能力。 在对比LeNet与AlexNet的具体区别时，我们注意到： 1. 输入维度差异：AlexNet处理的是ImageNet的数据集，图像尺寸为3x224x224，远大于MNIST的28x28灰度图，因此卷积核大小（5x5 vs 11x11）和池化策略（最大池化）有所不同，以适应更大规模的图像。 2. 卷积层细节：由于ImageNet中的图像更复杂，卷积核尺寸增大，以便捕捉更大的视觉特征。 3. 池化层：AlexNet采用最大池化，选择最具代表性的特征，减少模型参数，提高效率。 4. 输出通道数：卷积层的通道数增多，意味着神经网络能提取更多种类的特征。 5. 激活函数：AlexNet切换到ReLU，提高了网络性能。 6. Dropout的引入：针对过拟合问题，AlexNet使用Dropout来降低模型对特定神经元的依赖，提升模型在未知数据上的泛化能力。 在实现方面，给出了一个名为AlexNet的神经网络模型的代码示例，展示了如何在PyTorch框架中构建和使用这种深度卷积网络结构。通过这个实例，读者可以深入理解AlexNet的工作原理，并在实践中应用这些技术。