unet模型加注意力机制senet

### UNet模型结合SENet注意力机制实现方法

#### SE模块简介
SENet（Squeeze-and-Excitation Networks）通过引入通道间的依赖关系来增强有用的特征并抑制不重要的特征。具体来说，SE模块包含两个主要操作：squeeze（压缩）和excitation（激励）。在UNet架构中加入SE模块可以显著提升模型性能。

#### 结合方式
为了将SENet应用于UNet，在每个编码器阶段之后以及解码器阶段之前插入SE模块[^1]：

1. **编码路径中的应用**
对于每一层的输出特征图\(F\)，先执行全局平均池化得到描述整个图像上下文信息的一维向量\(z\in \mathbb{R}^{C}\)，其中\(C\)表示输入张量的通道数。

2. **构建瓶颈层**
接着利用全连接层减少维度至\(r=\frac{C}{reduction}\)，再经过ReLU激活函数映射回原始尺寸\(C\)，形成权重系数矩阵\(s\in [0,1]^C\)。

3. **加权求和**
将上述获得的比例因子逐元素相乘原特征图\(F'\leftarrow s⊙ F\)作为该级联单元的新输出传递给下一层继续处理。

4. **解码路径上的部署**
类似地，在跳跃连接处也嵌入相同的结构以加强局部区域内的语义一致性。

import torch.nn as nn


class SELayer(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)


def add_se_block(unet_layer):
    se_module = SELayer(unet_layer.out_channels)
    unet_layer.add_module('se', se_module)

# 假设unet_model是一个已经定义好的Unet实例对象
for name, layer in unet_model.named_modules():
    if isinstance(layer, (nn.Conv2d)):
        add_se_block(layer)

此代码片段展示了如何创建一个简单的SE层类，并将其添加到现有的UNet卷积层后方。需要注意的是实际项目里可能还需要调整一些细节配置才能达到最佳效果。