除了SE注意力机制,还有哪些常用的注意力机制?
时间: 2023-11-29 19:47:01 浏览: 246
注意力机制
5星 · 资源好评率100%
根据引用[1]提供的内容,除了SE注意力机制,还有以下常用的注意力机制:
1. Squeeze-and-Excitation (SE) Attention
2. Spatial Attention
3. Channel Attention
4. Dual Attention
5. Convolutional Block Attention Module (CBAM)
6. Efficient Channel Attention (ECA)
7. Selective Kernel (SK) Attention
8. Co-Attention
其中,Spatial Attention主要关注图像中的空间信息,Channel Attention主要关注通道之间的关系,Dual Attention则同时关注空间信息和通道关系。CBAM、ECA、SK Attention都是在SE Attention的基础上进行改进的,而Co-Attention则是在多个模态的输入中同时进行注意力机制的处理。
阅读全文