spatial reduction attention

spatial-reduction attention是一种注意力机制，它在PVT和segformer中被使用，并且与segformer中的Efficient Self-Attention非常相似。\[1\]这种注意力机制在深度学习视觉领域中被广泛研究和应用。它的目的是通过减少空间维度的大小来提高计算效率。\[2\]具体来说，它通过在高度和宽度上分别应用self-attention来减小注意力图的大小，从而减少内存占用。\[3\]这种方法可以有效地降低计算复杂度，并在视觉任务中取得良好的效果。
#### 引用[.reference_title]
- *1* *2* *3* [深度学习视觉领域中的attention机制的汇总解读（self-attention、交叉self-attention、ISSA、通道注意、...](https://blog.csdn.net/a486259/article/details/126538242)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]