batch normalization与layer normalization

Batch Normalization和Layer Normalization都是深度学习中常用的标准化方法，用于加速和稳定神经网络的训练过程。其中Batch Normalization主要用于卷积神经网络（CNN）中，而Layer Normalization则更适合于循环神经网络（RNN）和自注意力机制（Transformer）中。

Batch Normalization是通过对每个mini-batch中的某一层的输入进行标准化（减均值，除以标准差）来进行归一化。这样可以避免深层神经网络中出现的梯度消失和梯度爆炸问题，提高网络的稳定性和训练速度。但它也有以下缺点：
1. 训练和测试过程的统计特性不一致，可能导致精度下降。
2. 对mini-batch的大小比较敏感，如果mini-batch太小可能导致统计噪声较大，影响标准化的精度。
3. 不适用于序列数据，如文本等，导致在RNN模型上的应用相对较少。

相比之下，Layer Normalization是对每个样本（每个样本的每个维度）进行标准化，可以适用于任何batch size的数据集，也更容易应用到RNN等序列数据的模型上。但是，Layer Normalization在CNN上的效果不如Batch Normalization。