Twins-PCPVT

Twins-PCPVT是一种基于PVT（Pyramid Vision Transformer）和CPVT（Cross-Stage Partial Vision Transformer）的Vision Transformer模型。在Twins-PCPVT中，作者重新审视了Vision Transformer的空间注意力设计，并发现PVT的全局下采样注意力是非常有效的，并且具备了比较合适的位置编码。基于这一发现，作者设计了Twins-PCPVT模型，它仅使用全局注意力机制。Twins-PCPVT在ImageNet-1K分类任务上取得了SOTA（State-of-the-Art）的结果，并且具有较高的吞吐率。\[1\]\[2\]\[3\]
#### 引用[.reference_title]
- *1* *2* *3* [深入解读 Twins-PCPVT and Twins-SVT —— 更强的Vision Transformer Backbone](https://blog.csdn.net/qq_38890412/article/details/121947667)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]