layer norm 归一化实现

Layer Normalization (LN) 是一种用于神经网络层归一化的技术，它通过对每个特征向量（通常对应于输入数据的一个通道）进行标准化来加速训练并提高模型的稳定性。以下是层归一化的简单实现步骤[^4]：

1. **计算均值和方差**：
对于每一层的每个特征向量 \( x \)，首先计算其均值 \( \mu \) 和方差 \( \sigma^2 \)：

   mean = tf.reduce_mean(x, axis=-1, keepdims=True)  # 均值沿着最后一个维度计算
   variance = tf.reduce_mean(tf.square(x - mean), axis=-1, keepdims=True)  # 方差同样沿着最后一个维度计算

2. **标准化**：
使用均值和方差标准化特征向量 \( x \)：

   normalized_x = (x - mean) / sqrt(variance + epsilon)  # epsilon 是一个小的正数，防止除以零

3. **加缩放和平移**：
添加可学习的缩放因子 \( \gamma \) 和偏置项 \( \beta \) 来调整标准化后的分布：

   gamma = tf.Variable(tf.ones([1, x.shape[-1]]))  # 初始化为全1的向量
   beta = tf.Variable(tf.zeros([1, x.shape[-1]]))  # 初始化为全0的向量
   output = gamma * normalized_x + beta  # 结合缩放和平移

完整的层规范化函数可以这样实现：

def layer_norm(x, epsilon=1e-6):
    mean, variance = tf.nn.moments(x, axes=[-1], keepdims=True)
    return x * tf.math.rsqrt(variance + epsilon) + mean

请注意，这个实现假设你正在使用TensorFlow或类似的深度学习库。其他框架可能会有不同的接口。