DeiT-B transformer

DeiT-B是一种Transformer主干网络，它是通过在Transformer中引入交叉注意模块来解决无监督域自适应问题的一种方法。DeiT-B网络结构中包含三个分支，并使用双向中心感知标记方法生成高质量的伪标签。通过使用生成的高质量伪标签训练DeiT-B网络，可以得到一个健壮的解决方案，并在四个流行的无监督域自适应数据集上实现了最先进的结果，超过了以前的方法。\[2\]此外，还有一项名为Evo-ViT的工作，它提出了一种自激励的慢-快token进化方法，用于研究视觉Transformer的效率。实验证明，Evo-ViT方法可以显著加速各种Transformer结构，同时保持相似的分类性能，特别是在密集输入的情况下，对DeiT和LeViT的实验也取得了良好的效果。\[3\]
#### 引用[.reference_title]
- *1* [Transformer主干网络——DeiT保姆级解析](https://blog.csdn.net/qq_37668436/article/details/122887573)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *2* [ICLR2022《CDTrans: Cross-domain Transformer for Unsupervised Domain Adaptation》](https://blog.csdn.net/weixin_43994864/article/details/123324038)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
- *3* [加速DeiT-S 60%+吞吐量！腾讯优图提出高性能Transformer加速方法](https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/120386876)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item]
[ .reference_list ]