trsanfomer中Norm的分类

Transformer模型中的Norm（归一化）通常指的是层标准化（Layer Normalization），这是一种用于深度学习网络的归一化技术。在Transformer架构中，LayerNorm有两种常见的放置位置：

1. **Pre-Norm** 或 **Residual Normalization**: 这种方式中，先对输入执行LayerNorm，然后添加经过变换的输入。公式表示为[^1]:

   x_{t+1} = x_t + F_t(Norm(x_t))

其目的是为了保持残差连接（residual connections）的有效性。

2. **Post-Norm** 或 **Feedforward Normalization**: 在这一模式下，先进行变换操作，再对结果应用LayerNorm。公式表达为:

   x_{t+1} = Norm(x_t + F_t(x_t))

这些放置方式的选择会影响模型训练的速度和性能，Post-Norm通常被认为有助于加速收敛。

文章还提到了其他类型的归一化技术，如Batch Normalization（批量归一化）和RMSNorm（均方根归一化），但它们不是Transformer模型特有的部分，而是更通用的归一化策略。