torch layernorm源代码

### PyTorch 中 LayerNorm 层的源代码解析

在 PyTorch 的官方 GitHub 仓库中可以找到 `LayerNorm` 类的具体实现[^1]。以下是该类的关键部分：

#### 定义与初始化

class LayerNorm(Module):
    __constants__ = ['normalized_shape', 'weight', 'bias', 'eps']
    
    def __init__(self, normalized_shape, eps=1e-05, elementwise_affine=True):
        super(LayerNorm, self).__init__()
        if isinstance(normalized_shape, numbers.Integral):
            normalized_shape = (normalized_shape,)
        self.normalized_shape = tuple(normalized_shape)
        self.eps = eps
        self.elementwise_affine = elementwise_affine
        
        if self.elementwise_affine:
            self.weight = Parameter(torch.Tensor(*normalized_shape))
            self.bias = Parameter(torch.Tensor(*normalized_shape))
        else:
            self.register_parameter('weight', None)
            self.register_parameter('bias', None)

        self.reset_parameters()

这段代码展示了如何定义并初始化一个 `LayerNorm` 实例，设置可训练参数以及默认配置。

#### 参数重置方法

def reset_parameters(self):
    if self.elementwise_affine:
        init.ones_(self.weight)
        init.zeros_(self.bias)

此函数用于重新设定权重和偏移量到初始状态，在创建新实例时会被调用一次。

#### 正向传播过程

def forward(self, input):
    return F.layer_norm(
        input, self.normalized_shape, self.weight, self.bias, self.eps)

正向传播过程中会调用内置的 `F.layer_norm()` 函数来执行实际的数据标准化操作，并应用可能存在的缩放和平移变换。

通过上述代码片段可以看出，`LayerNorm` 主要负责对输入张量的最后一维做归一化处理，从而稳定神经网络训练过程中的梯度流动情况[^2]。