swin transformer相对编码

Swin Transformer 是一种新型的 Transformer 模型，相较于传统的 Transformer，它采用了相对位置编码来处理序列中元素的位置信息。传统的 Transformer 模型使用绝对位置编码，即将每个位置编码为一个固定的向量。而相对位置编码则是根据元素之间的相对位置关系来编码位置信息，从而使得模型能够更好地处理长序列。Swin Transformer 采用了一种分层相对位置编码的方法，即将序列分为多个连续的块，然后在每个块内部使用相对位置编码。这种方法能够降低计算复杂度，同时使得模型能够更好地处理长序列。