SENET注意力机制的实现伪代码

SENet (Squeeze-and-Excitation Network) 是一种在深度卷积神经网络中引入通道注意力机制的方法。它的核心思想是对每个特征图的每个通道进行加权，强调重要的信息并抑制无关的信息。下面是简化的SENet注意力机制实现的伪代码：

class SEBlock(Module):
    def __init__(self, in_channels, reduction_ratio=16):
        super(SEBlock, self).__init__()
        
        # Squeeze操作：将高维特征展平为1D向量
        self.global_avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc1 = nn.Linear(in_channels, in_channels // reduction_ratio)  # 第一个全连接层
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(in_channels // reduction_ratio, in_channels)  # 第二个全连接层
        self.sigmoid = nn.Sigmoid()  # 归一化函数

    def forward(self, x):
        b, c, _, _ = x.size()
        squeeze = self.global_avg_pool(x).view(b, c)  # 应用了全局平均池化
        excitation = self.fc2(self.relu(self.fc1(squeeze)))  # 通过两个线性变换和ReLU激活
        attention = self.sigmoid(excitation)  # 应用sigmoid归一化
        return x * attention.unsqueeze(-1).unsqueeze(-1)  # 将注意力权重应用回原始特征图上

# 使用示例
x = torch.randn(10, 64, 8, 8)  # 输入张量
se_block = SEBlock(64)  # 创建SE块实例
output = se_block(x)  # 运行前向传播