swintransformer

Swin Transformer是一种基于转移窗口注意力和分层特征图的层次化视觉Transformer模型。它是在原始的Vision Transformer（ViT）基础上引入了这两个关键概念来解决ViT所面临的问题。转移窗口注意力是指在每个注意力层中，将注意力窗口在特征图上进行平移，以捕获更多的上下文信息。分层特征图则是将原始图像分解为多个层次的特征图，每个特征图都学习不同层次的特征表示。Swin Transformer的整体架构如图所示（请参考论文中的图示）。