类似GAM和CBAM的注意力机制有那些
时间: 2024-09-25 07:00:56 浏览: 56
深度学习中的GAM注意力机制pytorch实现版本
除了Global Average Pooling (GAP) 和 Channel-wise Bottleneck Attention Module (CBAM) 这两类常见的全局和局部注意力机制外,还有以下几种类型的注意力机制:
1. **Spatial Attention** (空间注意力): 专注于图像的不同区域,比如SENet中的Squeeze-and-Excitation块,通过学习每个通道的重要性。
2. **Channel Attention** (通道注意力): 突出输入特征图中重要的通道,比如CBAM就是结合了空间注意力和通道注意力。
3. **Dynamic Filter Attention** (动态滤波器注意力): 根据输入动态调整滤波器权重,增强特征表达。
4. **Hierarchical Attention** (层次注意力): 对图像从低级到高级层次进行逐级聚焦,捕捉不同尺度的信息。
5. **Temporal Attention** (时间注意力): 在视频分析中,关注关键帧或动作的发生时刻。
6. **Graph Attention** (图注意力): 在图神经网络中,根据节点之间的连接关系分配注意力。
7. **Multi-scale Attention** (多尺度注意力): 考虑不同尺度的特征融合,适用于捕获全局和细节信息。
这些机制都是为了提升模型对输入信息的关注程度,并提高特征的表示能力。
阅读全文