channel attention模块代码

Channel Attention (通道注意力) 模块通常用于深度学习中的图像处理任务，如卷积神经网络（CNN）中，它强调输入特征图的不同通道之间的相互作用。这种模块的核心思想是赋予每个通道更高的权重，以突出最重要的信息。下面是基本的通道注意力模块的一个简化版本（假设在PyTorch中）：

import torch
import torch.nn as nn

class ChannelAttention(nn.Module):
    def __init__(self, in_channels):
        super(ChannelAttention, self).__init__()
        self.global_avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc1 = nn.Linear(in_channels, in_channels // 8, bias=False)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(in_channels // 8, in_channels, bias=False)
        self.sigmoid = nn.Sigmoid()

    def forward(self, x):
        b, c, _, _ = x.size()   # b: batch size, c: channels
        y = self.global_avg_pool(x)
        y = self.fc1(y)
        y = self.relu(y)
        y = self.fc2(y)
        scale = self.sigmoid(y)
        return x * scale.view(b, c, 1, 1)  # broadcasting for element-wise multiplication

在这个例子中，首先通过全局平均池化减小空间维度并得到通道级的摘要，然后经过两个线性变换和ReLU激活函数，最后应用Sigmoid函数归一化结果，生成通道权值。这个权值会应用于输入特征图上。