深度CNN中的shortcut结构：从Highway到ResNet、DenseNet

"本文介绍了深度卷积神经网络CNN中shortcut的使用，从Highway Networks到ResNet再到DenseNet，展示了shortcut在解决深度网络梯度消失和训练难题中的重要作用。" 深度卷积神经网络（CNN）在计算机视觉领域的广泛应用始于2012年AlexNet在ImageNet竞赛中的成功。然而，随着网络深度的增加，模型训练的难度也随之上升，这主要是因为梯度消失问题。为了解决这一问题，研究人员引入了shortcut或shortpath，即层之间的直接连接，以优化网络的训练过程。 首先，Highway Networks是最早尝试引入shortcut概念的模型之一。在传统的CNN（plain networks）中，仅相邻的两层之间有连接。Highway Networks通过在层间添加一个带权重的shortcut，形成类似图2的结构，允许输入信号x通过一个称为"carry gate"（C）的权重直接传递到输出层y，同时还有一个"transform gate"（T）进行特征变换。这样，即使在网络深处，输入信号也能有效地传播，降低了梯度消失的影响。实验结果表明，Highway Networks在训练误差和深度网络性能上都优于plain networks。 接着，Residual Networks（ResNet）进一步发展了shortcut的概念。ResNet的核心思想是通过identity mapping（恒等映射），即shortcut直接将输入传递到输出，并加上网络的残差学习，使得网络可以更有效地学习深度层级的特征。ResNet的设计使得即使在网络非常深时，信息依然能够无障碍地流动，解决了训练深层网络的难题，极大地推动了深度学习的发展。 最后，DenseNet是另一个利用shortcut的创新模型。不同于ResNet的并行结构，DenseNet采用了密集连接（dense connectivity），每个层都会连接到所有后续层，形成一个“稠密块”。这种设计不仅保留了ResNet的梯度流，还增强了特征的重用，减少了参数数量，提高了计算效率。 shortcut的引入是深度学习领域的一个重大突破，它有效地解决了深度CNN中的梯度消失问题，促进了更深、更复杂的网络架构的训练和发展。从Highway Networks到ResNet再到DenseNet，这些模型的演变展示了shortcut在优化网络训练、提升模型性能方面的巨大潜力，为深度学习带来了革命性的进步。