conv Relu bn

### 关于卷积层后接ReLU激活函数和批归一化的作用

#### 卷积层的功能
卷积层作为卷积神经网络中的基本构建模块之一，主要用于提取输入数据的空间特征。通过应用多个滤波器（也称为内核），可以在不同位置扫描输入矩阵并生成特征映射。这些操作有助于捕捉局部模式以及减少模型复杂度的同时保持重要的空间结构信息[^2]。

#### ReLU激活函数的重要性
紧接着卷积层之后通常会加入一个非线性的激活单元——ReLU(Rectified Linear Unit)，它能够引入非线性因素到整个网络架构之中。具体而言，当输入值大于零时返回该数值本身；反之则输出为零。这种简单而有效的机制不仅加快了收敛速度而且可以缓解梯度消失问题的发生概率[^1]。

import torch.nn as nn

class ConvBlock(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1):
        super(ConvBlock, self).__init__()
        
        # 定义卷积层
        self.conv = nn.Conv2d(in_channels=in_channels,
                              out_channels=out_channels,
                              kernel_size=kernel_size,
                              stride=stride,
                              padding=padding)

        # 使用ReLU激活函数
        self.relu = nn.ReLU(inplace=True)
    
    def forward(self, x):
        x = self.conv(x)
        x = self.relu(x)
        return x

#### 批归一化的意义
为了进一步稳定训练过程并加速优化算法的表现，在上述两者之间还可以插入Batch Normalization(BatchNorm) 层。此技术通过对每一批次的数据进行标准化处理来减小内部协变量偏移现象的影响。经过这样的调整之后，即使在网络较深的情况下也能维持较好的性能表现，并允许采用更大的学习率来进行更高效的探索。

import torch.nn as nn

class ConvBNReLUBlock(nn.Module):
    def __init__(self, in_channels, out_channels, kernel_size=3, stride=1, padding=1):
        super(ConvBNReLUBlock, self).__init__()

        # 定义卷积层
        self.conv = nn.Conv2d(in_channels=in_channels,
                             out_channels=out_channels,
                             kernel_size=kernel_size,
                             stride=stride,
                             padding=padding)

        # 添加批量规范化层
        self.bn = nn.BatchNorm2d(out_channels)

        # 使用ReLU激活函数
        self.relu = nn.ReLU(inplace=True)

    def forward(self, x):
        x = self.conv(x)
        x = self.bn(x)
        x = self.relu(x)
        return x