swingtransformer

Swin Transformer 是一种基于 Transformer 结构的图像分类模型，它在2021年由香港中文大学（The Chinese University of Hong Kong）提出。Swin Transformer 通过将图像分割成一组小的非重叠图块，并在这些图块上应用 Transformer 结构，来处理图像。

传统的图像分类模型通常使用卷积神经网络（CNN）来提取图像特征，但随着图像分辨率的增加和模型规模的增大，CNN 在处理大尺寸图像时会面临内存和计算资源的限制。Swin Transformer 通过使用窗口式的注意力机制，将特征映射分割成多个窗口，并在每个窗口上进行自注意力操作，从而降低了计算复杂度和空间复杂度。

Swin Transformer 在多个图像分类任务上取得了优秀的性能，在参数量和计算复杂度上都比传统的 CNN 模型更高效。它已经在许多计算机视觉竞赛中取得了领先的成绩，并成为当前研究领域的热门话题之一。