DeepLabV3Plus ResNet50 加入注意力机制

### 如何在 DeepLabV3Plus 中使用 ResNet50 骨干网络并添加注意力机制

#### 构建带有 ResNet50 的 DeepLabV3+

要构建基于 ResNet50 的 DeepLabV3+ 模型，首先需要导入必要的库，并定义模型架构。PyTorch 提供了一个方便的方式来实现这一点。

import torch
from torchvision import models
from torch import nn

class DeepLabV3Plus_ResNet50(nn.Module):
    def __init__(self, num_classes=21):
        super(DeepLabV3Plus_ResNet50, self).__init__()
        
        # 加载预训练的ResNet50作为backbone
        backbone = models.resnet50(pretrained=True)
        
        # 定义ASPP模块和其他组件...
        self.backbone = nn.Sequential(
            backbone.conv1,
            backbone.bn1,
            backbone.relu,
            backbone.maxpool,
            backbone.layer1,
            backbone.layer2,
            backbone.layer3,
            backbone.layer4
        )
    
    def forward(self, x):
        low_level_features = self.backbone[:7](x)  # 获取低级特征图
        output_feature = self.backbone[7:](low_level_features)  # 继续提取高级语义信息
        
        # 进一步处理output_feature和low_level_features...

        return final_output

这段代码展示了如何利用 PyTorch 创建一个继承自 `nn.Module` 类的新类 `DeepLabV3Plus_ResNet50` 来封装整个过程[^1]。

#### 添加注意力机制到 DeepLabV3+

对于引入注意力机制，可以选择 CBAM (Convolutional Block Attention Module)，它能够同时考虑通道维度上的重要性和空间位置的重要性。下面是如何将其集成到上述模型中的例子：

class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()

        assert kernel_size in (3, 7), 'kernel size must be 3 or 7'
        padding = 3 if kernel_size == 7 else 1

        self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        scale = torch.cat([avg_out, max_out], dim=1)
        scale = self.conv1(scale)
        return x * self.sigmoid(scale)


def add_attention_to_backbone(model):
    """向已有的BackBone中插入CBAM"""
    for name, module in model.named_children():
        if isinstance(module, nn.Conv2d): 
            setattr(model, name, nn.Sequential(
                module,
                SpatialAttention()
            ))
        elif hasattr(module, "children") and len(list(module.children())) > 0:
            add_attention_to_backbone(module)

# 应用函数修改现有的backbone部分
add_attention_to_backbone(deeplabv3plus_resnet50.backbone)

此段代码实现了两个功能：一是定义了空间注意力建模的空间关注层；二是提供了一种遍历现有神经网络各层的方法，在适当的位置嵌入所设计的关注模块[^2]。