为什么Transformer要用LayerNorm?

Transformer使用LayerNorm是因为在NLP中，LayerNorm已经成为了主流的选择。LayerNorm本质上是L2 Normalization的一种变体，通过对输入进行标准化，可以控制注意力的值在合理范围内，避免梯度消失或爆炸的问题。相比于BatchNorm(BN)，LayerNorm更适用于Transformer模型，因为BN对于注意力值的控制不够有效。此外，即使在CV领域的ViT模型中也使用了LayerNorm，这违背了以往"CV使用BN，NLP使用LN"的常识。实验证明，将ViT中的LN换成BN会导致性能下降，这说明Transformer与LayerNorm更加匹配。

相关问题

transformer使用LayerNorm

Transformer网络中的LayerNorm是一种归一化技术，用于规范每个特征的统计分布，使其具有相同的均值和方差。在Transformer中，对于每个子层（自注意力层或前馈神经网络层），都会在输入之后应用一个LayerNorm层，然后再将结果传递给下一个子层。

LayerNorm的公式如下：
$$
\mathrm{LayerNorm}(x)=\gamma \odot \frac{x-\mu}{\sqrt{\sigma^{2}+\epsilon}}+\beta
$$

其中，$x$是输入向量，$\mu$和$\sigma$分别是其均值和标准差，$\gamma$和$\beta$是可学习的缩放因子和平移因子，$\epsilon$是为了数值稳定性而添加的小常数。

与其他归一化技术不同，LayerNorm不是对每个样本进行归一化，而是对每个特征进行归一化。这种方法可以提高模型的鲁棒性，并且适用于小批量训练。

transformer中的layernorm

Transformer中的LayerNorm是指在每个Transformer的子层中使用的一种归一化方法。它可以使隐藏层的输入具有相似的均值和方差，从而提高模型的训练效果。这种归一化方法通常在每个子层的输入和输出处应用。