swin transformer迁移学习

Swin Transformer是一种基于移动窗口的Hierarchical Vision Transformer。它的目标是实现Vision Transformer在非自然场景下的迁移学习。Swing Transformer的设计灵感主要来自于CNN，它融合了CNN的一些思想并将其应用于Transformer模型中。通过引入移动窗口的概念，Swin Transformer能够实现多尺度的特征提取，这使得它可以作为一个通用的backbone，为检测、分割等计算机视觉下游任务提供更好的支持。Swing Transformer在非自然场景下的迁移学习表现较好，这是因为Transformer本身不需要过多的inductive bias，并且已有的一些工作已经证明了将NLP预训练模型直接应用于计算机视觉任务的有效性。因此，我认为Swin Transformer具有较好的迁移学习能力。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* [Swin-Transformer学习整理](https://blog.csdn.net/weixin_43856821/article/details/123243178)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
- *2* *3* [Swin Transformer 学习笔记](https://blog.csdn.net/qq_36936443/article/details/124296075)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"]
[ .reference_list ]