swin transformer 的patch partition

Swin Transformer 是一种基于视觉Transformer的模型，它将输入图像划分为多个不重叠的图像块（或称为“patch”），并使用Transformer进行特征提取和分类。

在Swin Transformer中，图像被首先划分为一组大小为$P \times P$的图像块。每个图像块被视为一个“token”，并通过一个可学习的嵌入层将其转换为一个向量。这些向量被送入Transformer编码器以提取特征。Swin Transformer通过对这些图像块进行层级分割和交叉注意力来捕获全局上下文信息。

为了加速处理，Swin Transformer还引入了一种称为“patch partition”的技术。这种技术将原始图像划分为多个子图像，每个子图像包含多个图像块，可以并行地在不同的GPU上进行处理。这种划分方式使得模型可以处理更大的图像，并且可以在较短的时间内进行训练。同时，Swin Transformer的精度也比其他基于Transformer的视觉模型更高。