通道注意力和空间注意力并行连接

### 实现通道注意力与空间注意力的并行连接

为了实现通道注意力机制与空间注意力机制的并行连接，可以设计一种架构使得两种注意力机制能够独立工作但在最终阶段融合其效果。具体来说：

在卷积神经网络(CNN)中引入Triplet Attention作为一种即插即用模块[^1]。此方法不仅考虑到了CBAM所分离构建的通道注意和空间注意，还强调两者间可能存在关联性，主张同步建模这两种类型的注意力。

对于具体的实现方式如下所示：

#### 构造双分支结构
创建两个平行路径：一条专门负责处理通道维度上的特征图；另一条则专注于提取空间位置信息。每条路径都应用相应的注意力计算逻辑——前者调整各通道的重要性权重，后者重新加权不同像素点的位置贡献度。

import torch.nn as nn

class ChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=8):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        self.fc1   = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
        self.relu1 = nn.ReLU()
        self.fc2   = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)

        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x))))
        max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x))))
        out = avg_out + max_out
        return self.sigmoid(out)


class SpatialAttention(nn.Module):
    def __init__(self, kernel_size=7):
        super(SpatialAttention, self).__init__()

        assert kernel_size in (3, 7), 'kernel size must be 3 or 7'
        padding = 3 if kernel_size == 7 else 1
        
        self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        avg_out = torch.mean(x, dim=1, keepdim=True)
        max_out, _ = torch.max(x, dim=1, keepdim=True)
        x = torch.cat([avg_out, max_out], dim=1)
        x = self.conv1(x)
        return self.sigmoid(x)

#### 融合两者的输出结果
将上述定义好的`ChannelAttention`类实例化对象作用于输入张量上获得经过通道级调节后的版本；同样地利用`SpatialAttention`得到基于空间分布修正过的表示形式。之后简单相乘即可完成二者的有机结合。

def apply_attention(input_tensor):
    ca_module = ChannelAttention(in_planes=input_tensor.size()[1])
    sa_module = SpatialAttention()

    channel_attended = input_tensor * ca_module(input_tensor)
    spatial_attented = input_tensor * sa_module(input_tensor)

    combined_output = (channel_attended + spatial_attented)/2
    
    return combined_output

通过这种方式实现了通道注意力与空间注意力的有效结合，并将其集成到更深的学习框架之中去提升模型性能。