Swin Transformer是如何进行特征提取的

Swin Transformer是基于Transformer的架构，它将输入的图像划分为一系列固定大小的图块（patches），然后使用Transformer编码器来提取这些图块的特征。具体来说，Swin Transformer采用了一种分层的方式来处理图块，它将图块分为若干个级别（即不同的分辨率），然后在每个级别上使用Transformer编码器来提取特征，最后将不同级别的特征进行融合。这种分层的方式使得Swin Transformer能够捕捉不同尺度的特征，从而提高了模型的表现。

此外，Swin Transformer还使用了局部注意力机制（local attention），这种机制只会对输入序列的一部分进行注意力计算，从而减少了计算量。局部注意力机制通常会结合全局注意力机制（global attention）一起使用，以提高模型的表现。