为什么Transformer要用LayerNorm?

Transformer使用LayerNorm是因为在NLP中，LayerNorm已经成为了主流的选择。LayerNorm本质上是L2 Normalization的一种变体，通过对输入进行标准化，可以控制注意力的值在合理范围内，避免梯度消失或爆炸的问题。相比于BatchNorm(BN)，LayerNorm更适用于Transformer模型，因为BN对于注意力值的控制不够有效。此外，即使在CV领域的ViT模型中也使用了LayerNorm，这违背了以往"CV使用BN，NLP使用LN"的常识。实验证明，将ViT中的LN换成BN会导致性能下降，这说明Transformer与LayerNorm更加匹配。

相关问题

transformer中的layernorm

Transformer中的LayerNorm是指在每个Transformer的子层中使用的一种归一化方法。它可以使隐藏层的输入具有相似的均值和方差，从而提高模型的训练效果。这种归一化方法通常在每个子层的输入和输出处应用。

手写transformer中的layernorm

### 实现Transformer模型中的Layer Normalization层

为了实现Transformer模型中的Layer Normalization（LN），可以按照如下方式编写Python代码。Layer Norm是对单个样本执行的操作，针对batch内的每一个样本独立进行标准化处理[^2]。

import torch
import torch.nn as nn

class LayerNorm(nn.Module):
    "Construct a layernorm module."

    def __init__(self, features, eps=1e-6):
        super(LayerNorm, self).__init__()
        # 可学习参数初始化为1和0
        self.a_2 = nn.Parameter(torch.ones(features))
        self.b_2 = nn.Parameter(torch.zeros(features))
        self.eps = eps

    def forward(self, x):
        mean = x.mean(-1, keepdim=True)  # 计算均值
        std = x.std(-1, keepdim=True)    # 计算标准差
        
        # 归一化并缩放和平移
        return self.a_2 * (x - mean) / (std + self.eps) + self.b_2

此代码定义了一个`LayerNorm`类来构建Layer Normalization模块。该模块接收特征维度作为输入，在前向传播过程中计算最后一个轴上的平均值和方差，并据此调整张量的分布[^1]。