Transformer改进 mobam

### 改进Transformer模型的方法和技巧

#### 层归一化的位置调整
一种有效的改进方式是在自注意力机制之后以及前馈神经网络之前应用预归一化（Pre-Normalization），而不是传统的后归一化(Post-Normalization)[^3]。这种改变有助于稳定训练过程并加速收敛。

#### 训练策略优化
采用更先进的学习率调度方案，比如余弦退火(cosine annealing)或线性衰减(linear decay)，可以显著提升最终模型的质量[^2]。此外，混合精度训练(Mixed Precision Training)通过利用半精度浮点数(FP16)来减少内存占用并加快计算速度，同时保持全精度(FP32)的关键部分以维持数值稳定性。

#### 数据增强技术
引入数据扩充(Data Augmentation)手段如回译(Back Translation)能够增加平行语料库的有效规模，从而改善机器翻译任务中的表现；而对于图像分类等视觉任务，则可以通过随机裁剪(Random Crop)、翻转(Flip)等方式生成更多样化的样本输入给定的Transformer架构进行学习[^1]。

import torch.nn as nn

class ImprovedTransformer(nn.Module):
    def __init__(self, d_model=512, nhead=8, num_encoder_layers=6,
                 num_decoder_layers=6, dim_feedforward=2048, dropout=0.1):
        super().__init__()
        
        self.pre_norm = nn.LayerNorm(d_model)

    def forward(self, src, tgt):
        # 应用预归一化
        src = self.pre_norm(src)
        tgt = self.pre_norm(tgt)
        
        ...