chitgpt向量的归一化

ChitGPT使用的是基于BERT的预训练模型，在训练过程中使用了Layer Normalization进行向量的归一化。Layer Normalization是一种在神经网络中常用的归一化方法，它将每个样本的特征向量进行归一化，使得它们的均值为0，标准差为1，从而加速模型的训练和收敛。

在ChitGPT中，Layer Normalization被应用在每个Transformer block的输入和输出中，即在每个Multi-Head Attention和Feed Forward层之前和之后。具体来说，对于一个输入矩阵X，Layer Normalization的计算公式如下：

LN(X) = (X - μ) / σ * γ + β

其中，μ和σ分别表示X的均值和标准差，γ和β是可学习的缩放和偏移参数。通过Layer Normalization，ChitGPT能够更好地处理输入数据的变化和差异，从而提高模型的稳定性和泛化能力。