swin transformer中mlp层改进

Swin Transformer是一种基于Transformer架构的模型，特别适用于处理密集的视觉图像数据。其中MLP（Multi-Layer Perceptron，多层感知机）层是Transformer中的关键组件，用于学习输入特征的非线性变换。在Swin Transformer中，MLP层的改进主要包括：

1. **局部窗口注意力**（Local Window Attention）：传统的全局自注意力计算需要处理整个序列，而Swin Transformer将注意力分成固定大小的窗口，这减少了计算量并允许并行化处理，提高了效率。

2. **Token Shuffle**：在每个MHA（Multihead Self-Attention）之后，Swin对窗口内的tokens进行了通道shuffle操作，使得信息能够在相对较小的空间尺度上传播，增强了模型对空间结构的建模能力。

3. **位置嵌入与跳过连接**：与传统Transformer中直接添加绝对位置编码不同，Swin Transformer采用相对位置编码，并通过跨窗跳接（Cross-window Connection）机制将邻近窗口的信息融合，进一步增强模型的上下文理解能力。

4. **残差连接与层归一化**：保持了ResNet中的残差连接和Layer Normalization，有助于梯度流动和模型稳定性。

5. **混合精度训练**（Mixed Precision Training）：为了提升计算效率和内存使用，可能会应用半精度浮点数（FP16）来进行部分运算，尤其是在大规模预训练阶段。