SE通道注意力机制的数学原理

SE通道注意力机制（Squeeze-and-Excitation, SE）是深度学习中的一种自注意力模块，主要用于提升卷积神经网络（CNN）中特征图的空间感知能力。它借鉴了生物视觉系统中视觉注意力的概念，通过对输入特征的全局上下文信息进行加权，优化了局部特征的表达。

数学原理概览：

1. **Squeeze操作**：首先，将输入特征图压缩为一个单一的全局特征向量。这通常是通过全局池化层（如平均池化或最大池化）实现，将每个通道的信息汇总到一个标量上。

\[ f_{squeeze}(x) = GlobalPooling(F) \]

其中，\( F \) 是原始的特征图，\( f_{squeeze} \) 是得到的全局特征向量。

2. **Excitation操作**：接着，将这个全局特征向量通过一个两层全连接网络（FCN），分别用于降低维度和恢复原维度，同时引入非线性激活（如ReLU和sigmoid）。sigmoid层通常被用于生成通道权重。

\[ w_{excitation} = Sigmoid(FC_2(ReLU(FC_1(f_{squeeze}))))) \]

这里，\( FC_1 \) 和 \( FC_2 \) 分别代表第一层和第二层全连接网络，\( w_{excitation} \) 是每个通道的注意力权重。

3. **Re-weighting**：最后，将注意力权重应用回原始特征图，通过逐通道乘法更新，增强或减弱每个通道的重要性。

\[ y = x \odot \text{softmax}(w_{excitation}) \]

其中，\( y \) 是经过注意力调整后的特征图，\( \odot \) 表示逐元素乘法。