在pytorch环境中，使用mobilenetv2为主干网络的deeplabv3plus模型添加SE教程

1. 安装必要的库和模块

在使用SE模块之前，需要安装必要的库和模块，包括pytorch、torchvision和numpy等。可以使用pip或conda来安装。

!pip install torch torchvision numpy

2. 定义SE模块

SE模块包括两个部分：squeeze和excitation。squeeze部分是一个全局平均池化层，用于将特征图压缩成一个数值，excitation部分是一个全连接层，用于学习特征图的重要性权重。

import torch.nn as nn

class SEModule(nn.Module):
    def __init__(self, channels, reduction=16):
        super(SEModule, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channels, channels // reduction, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channels // reduction, channels, bias=False),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y

3. 修改deeplabv3plus模型

在deeplabv3plus模型中，需要修改主干网络部分，将每个卷积层后添加一个SE模块。

import torchvision.models as models

class DeepLabV3Plus(nn.Module):
    def __init__(self, n_classes=21):
        super(DeepLabV3Plus, self).__init__()
        self.mobilenetv2 = models.mobilenet_v2(pretrained=True).features
        self.se_module1 = SEModule(24)
        self.se_module2 = SEModule(32)
        self.se_module3 = SEModule(96)
        self.se_module4 = SEModule(320)
        self.aspp = ASPP(320, [12, 24, 36])
        self.decoder = Decoder(n_classes)
        
    def forward(self, x):
        x_size = x.size()
        h, w = x_size[2], x_size[3]
        x = self.mobilenetv2(x)
        x = self.se_module1(x)
        x = self.mobilenetv2[3:6](x)
        x = self.se_module2(x)
        x = self.mobilenetv2[6](x)
        x = self.se_module3(x)
        x = self.mobilenetv2[7](x)
        x = self.se_module4(x)
        x = self.aspp(x)
        x = self.decoder(x, h, w)
        x = F.interpolate(x, size=x_size[2:], mode='bilinear', align_corners=False)
        return x

4. 模型训练和测试

使用修改后的模型进行训练和测试，可以使用与原模型相同的训练和测试代码。

model = DeepLabV3Plus(n_classes=21)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9, weight_decay=1e-4)
scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

for epoch in range(num_epochs):
    for i, (inputs, labels) in enumerate(train_loader):
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

with torch.no_grad():
    for i, (inputs, labels) in enumerate(test_loader):
        outputs = model(inputs)
        _, preds = torch.max(outputs, 1)
        # do something with preds