批量归一化与层归一化

批量归一化（Batch Normalization）和层归一化（Layer Normalization）是深度学习中常用的两种归一化技术，它们的主要目的是加速模型训练并提高模型的稳定性。

### 批量归一化（Batch Normalization）
批量归一化是在每个小批量数据上计算均值和方差，并对每个特征进行归一化。具体步骤如下：
1. **计算均值和方差**：对当前小批量中的每个特征计算均值和方差。
2. **归一化**：使用计算得到的均值和方差对每个特征进行归一化，使其均值为0，方差为1。
3. **缩放和平移**：引入可学习的参数（缩放因子和偏移量），对归一化后的数据进行缩放和平移。

批量归一化的优点包括：
- 加速训练过程。
- 减少对初始化的依赖。
- 提高模型的泛化能力。

### 层归一化（Layer Normalization）
层归一化是在单个样本的所有特征上计算均值和方差，并对每个特征进行归一化。具体步骤如下：
1. **计算均值和方差**：对单个样本的所有特征计算均值和方差。
2. **归一化**：使用计算得到的均值和方差对每个特征进行归一化，使其均值为0，方差为1。
3. **缩放和平移**：引入可学习的参数（缩放因子和偏移量），对归一化后的数据进行缩放和平移。

层归一化的优点包括：
- 适用于递归神经网络（RNN）等动态网络结构。
- 对小批量数据不敏感。

### 对比
- **计算方式**：批量归一化依赖于小批量数据的统计信息，而层归一化依赖于单个样本的统计信息。
- **适用场景**：批量归一化适用于大多数前馈神经网络，而层归一化适用于递归神经网络和需要处理可变长度输入的模型。

通过以上介绍，可以看出批量归一化和层归一化在计算方式和适用场景上有所不同，选择哪种归一化方法应根据具体的网络结构和任务需求来决定。