LayerNorm Swin Transformer

LayerNorm在Swin Transformer中是一种用于归一化输入数据的技术。它被用于在每个Transformer层的输入和输出之间进行归一化操作，以提高模型的训练效果和泛化能力。

具体来说，LayerNorm通过计算输入数据的均值和方差，并将其应用于输入数据，以使其具有零均值和单位方差。这有助于减少输入数据的分布差异，使得模型更容易学习和处理不同尺度的特征。

在Swin Transformer中，LayerNorm被应用于每个Transformer层的输入和输出。这样做的目的是确保每个Transformer层的输入数据具有相似的分布，从而使得模型能够更好地进行特征提取和表示学习。

下面是一个示例代码，演示了如何在Swin Transformer中使用LayerNorm：

import torch
import torch.nn as nn

class SwinTransformerLayer(nn.Module):
    def __init__(self, dim, num_heads):
        super(SwinTransformerLayer, self).__init__()
        self.norm1 = nn.LayerNorm(dim)
        self.self_attention = nn.MultiheadAttention(dim, num_heads)
        self.norm2 = nn.LayerNorm(dim)
        self.feed_forward = nn.Sequential(
            nn.Linear(dim, dim * 4),
            nn.GELU(),
            nn.Linear(dim * 4, dim)
        )
    
    def forward(self, x):
        residual = x
        x = self.norm1(x)
        x, _ = self.self_attention(x, x, x)
        x = x + residual
        
        residual = x
        x = self.norm2(x)
        x = self.feed_forward(x)
        x = x + residual
        
        return x

# 创建一个Swin Transformer层
swin_transformer_layer = SwinTransformerLayer(dim=512, num_heads=8)

# 输入数据
input_data = torch.randn(16, 512)

# 在Swin Transformer层中进行前向传播
output = swin_transformer_layer(input_data)
print(output.shape)