layernorm计算公式

LayerNorm的计算公式如下：

$$
\text{LayerNorm}(x_{1...n}) = \gamma \odot \frac{x_{1...n} - \mu}{\sigma + \epsilon} + \beta
$$

其中，

- $x_{1...n}$：输入向量，可以表示为一个$n$维向量。
- $\gamma$和$\beta$：可学习的参数向量，每个元素都是标量。它们的维度与$x_{1...n}$相同。
- $\mu$：输入向量$x_{1...n}$的均值，为一个标量。
- $\sigma$：输入向量$x_{1...n}$的标准差，为一个标量。
- $\epsilon$：一个非常小的数，用于防止分母为0。

$\odot$表示逐元素乘积。在计算过程中，我们首先计算输入向量的均值和标准差，然后用它们来标准化输入向量。最后，我们使用可学习的参数向量$\gamma$和$\beta$对标准化后的向量进行缩放和平移，以产生输出向量。