swim transformer layer

Swim Transformer层是Swin Transformer模型的核心组成部分之一。它采用了不重叠窗口中的自注意力机制来处理图像。为了解决窗口之间无连接的问题，Swin Transformer引入了移位窗口分割方法。这一方法在连续的Swin Transformer块中交替出现，并用W-MSA和SW-MSA进行计算。

Swim Transformer与传统的Transformer结构不同，它借鉴了CNN的分层结构，可以不仅用于分类任务，还可以扩展到其他下游任务，如物体检测和图像分割等。Swim Transformer在设计上具有奇数个blocks，以便在最后一个block中完成降采样操作。