LayerNorm原理

LayerNorm是一种常用的归一化技术，用于神经网络中的每个层的输入数据进行归一化处理。它的原理是对每个样本的特征进行归一化，使得每个特征的均值为0，标准差为1。具体原理如下：

1. 对于一个输入数据张量，首先计算其均值和标准差。对于特征维度(dimension)的每个维度，计算该维度上所有样本的均值和标准差。

2. 然后，对于每个特征，将其减去均值，再除以标准差，得到归一化后的特征。

3. 最后，为了保持网络表达能力，引入两个可学习参数，缩放因子(scale)和平移因子(bias)。将归一化后的特征乘以缩放因子，再加上平移因子。

LayerNorm的作用是在模型训练过程中，使得每个样本的特征分布更加稳定，有助于加快模型收敛速度和提高模型性能。它相较于其他归一化方法（如Batch Normalization）的优点是：对于每个样本独立计算均值和标准差，不受batch size的影响，因此适用于不同batch size的场景。