transformer中layernorm作用

在Transformer模型中，Layer Normalization（层归一化）用于对输入的向量进行标准化处理，使得每个特征在不同样本中均值为0、方差为1，从而在训练过程中减少了内部协变量偏移（internal covariate shift），使得网络能够更快地收敛。此外，它还可以降低模型中的异方差（heteroscedasticity）问题，从而加速训练和提高模型性能。