swim transformer原理
时间: 2023-10-02 14:07:31 浏览: 120
transformer原理解读
Swim Transformer是一种特别为视觉领域设计的分层Transformer结构。它采用滑动窗口和分层表示的两大特性。滑动窗口允许在局部不重叠的窗口中计算自注意力,并允许跨窗口连接。而分层结构则允许模型适应不同尺度的图像,并且计算复杂度与图像大小呈线性关系。因此,它被称为一种披着Transformer皮的CNN。Swim Transformer以Vision Transformer(ViT)为起点,借鉴了ResNet的优点,从局部到全局逐步扩大感受野,设计成一种适用于计算机视觉任务的通用主干网络。它可以应用于图像分类、图像分割、目标检测等一系列视觉下游任务。
阅读全文