深度残差网络的shortcut

深度残差网络（ResNet）的shortcut是指在每个残差块中添加的跨层连接。这些跨层连接可以使反向传播时梯度更好地流经网络，避免深层网络中的梯度弥散问题。

在一个基本的残差块中，输入x首先通过两个3x3的卷积层，然后将输出与输入相加。为了使输出和输入具有相同的形状，可以在输入x上使用1x1的卷积层进行降维或升维。这个过程中，如果输入和输出的形状不同，就需要使用shortcut来跨越两个卷积层之间的距离，将输入x加到卷积层的输出上。

这个shortcut可以通过两种方式实现。一种是使用恒等映射，即直接将输入x加到卷积层的输出上。另一种是使用投影映射，即使用一个1x1的卷积层将输入x降维或升维，再将其加到卷积层的输出上。在ResNet中，通常使用恒等映射，因为它可以保持输入和输出的形状不变，并且不会增加太多的计算成本。