resnet模型运行机理

### ResNet模型工作原理

#### 3.1 深度学习与卷积神经网络（CNN）

深度学习是一类复杂的机器学习方法，其中人工神经网络能够自动从大量数据中提取特征。卷积神经网络（Convolutional Neural Networks, CNN）作为深度学习的一个重要分支，在图像识别等领域取得了显著成就[^2]。

#### 3.2 ResNet结构特点

ResNet引入了一种新的构建模块——残差块（residual block）。传统深层网络随着层数增加会出现退化现象，即准确率饱和甚至下降；而ResNet通过设计特殊的跳跃连接（skip connection），使得前一层可以直接传递到后面较远的一层，从而有效缓解了这一问题[^1]。

具体来说，对于第$l$层的输入$x_l$，标准的前向传播公式可以表示为：

$$ y_{l} = f(x_{l}, W_{l}) $$

而在ResNet中，则变为：

$$ y_{l} = \mathcal{F}(x_{l},W_{l}) + x_{l} $$

这里$\mathcal{F}$代表两个或多个堆叠的非线性变换操作组成的函数，加号后的$x_l$就是所谓的恒等映射部分。这种机制允许梯度更顺畅地反向传播回早期层次，极大地促进了极深网络的有效训练。

#### 3.3 批次归一化的作用

为了进一步提高性能并加快收敛速度，ResNet还在各层之间加入了批次归一化（Batch Normalization, BN）。BN通过对每一批次的数据做标准化处理来减少内部协变量偏移的影响，有助于保持激活值分布相对稳定，进而降低对参数初始化敏感性和防止过拟合等问题的发生[^4]。

import torch.nn as nn

class BasicBlock(nn.Module):
    expansion = 1
    
    def __init__(self, inplanes, planes, stride=1, downsample=None):
        super(BasicBlock, self).__init__()
        norm_layer = nn.BatchNorm2d
        
        # 卷积层1
        self.conv1 = conv3x3(inplanes, planes, stride)
        self.bn1 = norm_layer(planes)

        # 卷积层2
        self.conv2 = conv3x3(planes, planes)
        self.bn2 = norm_layer(planes)

        self.downsample = downsample
        self.stride = stride

    def forward(self, x):
        identity = x 

        out = self.conv1(x)
        out = self.bn1(out)
        out = F.relu(out)

        out = self.conv2(out)
        out = self.bn2(out)

        if self.downsample is not None:
            identity = self.downsample(x)

        out += identity
        out = F.relu(out)

        return out