常添加的几个注意力机制
时间: 2023-09-28 10:03:58 浏览: 107
Task 04- 机器翻译-注意力机制-Seq2seq-Transformer
常添加的几个注意力机制包括通道注意力机制、空间注意力机制和混合注意力机制。通道注意力机制和空间注意力机制是基本的注意力机制,它们分别关注于通道维度和空间维度的特征。混合注意力机制是将通道注意力和空间注意力有效结合在一起,使注意力能够同时关注到两者。一些常见的混合注意力机制包括CBAM、BAM、scSE等。此外,还有一些其他类型的混合注意力机制,如Triplet Attention、Coordinate Attention、DANet、RGA等,它们分别关注跨维度的相互作用、长距离的依赖和关系感知注意力。还有一种特殊的混合注意力机制是3D的attention,如Residual attention、SimAM、Strip Pooling、SCNet等。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *2* *3* [注意力机制详解系列(四):混合注意力机制](https://blog.csdn.net/qq_36816848/article/details/129207419)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]
阅读全文