layer norm和batch norm

层归一化 (Layer Normalization) 和批归一化 (Batch Normalization) 都是用于改进神经网络训练的正则化技巧，它们旨在减少内部表示的学习难度并加速收敛速度。

### 层归一化 (Layer Normalization)

层归一化是在每一层（而非每一批次）之后对特征进行标准化的操作。其主要思想是通过调整每层输出的均值和方差，使得激活函数的输入处于接近标准正态分布的状态。这种方式有助于提高模型的稳定性和泛化能力，并减少了梯度消失或爆炸的问题。

数学上，对于层归一化的公式可以描述为：

\[ x_{\text{norm}} = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}} \]

其中 \(x\) 表示激活向量，\(\mu\) 和 \(\sigma\) 分别是该层所有输出的平均值和方差，\(\epsilon\) 是一个小常数以防止除零操作。

### 批归一化 (Batch Normalization)

批归一化则是在每一批次样本之后对特征进行标准化。它首先计算当前批次的均值和方差，然后对每个样本的激活值进行规范化。批归一化同样试图将激活函数的输入保持在稳定范围内，从而加快训练速度并提高模型的表现。它的主要优势在于：

1. 减少了对初始化的敏感性。
2. 加快了训练速度。
3. 改善了模型的稳健性，尤其是在处理深层网络结构时更为显著。
4. 简化了网络设计，因为不再需要那么多隐藏层。

批归一化通常会包括一个额外的训练/测试模式切换，以利用整个训练集的统计信息进行初始化阶段的标准化，然后在测试时使用批次的均值和方差来进行标准化。

这两种归一化方法都是现代深度学习中不可或缺的技术手段，极大地促进了神经网络的训练效果和最终模型的性能。

---