softmax gelu layernorm 定点计算公式

softmax、gelu和layernorm都是深度学习中常用的激活函数或归一化技术，在定点计算（fixed-point arithmetic）中，它们的公式可能会有所不同，因为这些操作通常在有限精度的数值表示下执行。

1. Softmax 函数：Softmax 用于将一组数值映射到0-1之间，并且所有值之和为1，常用于多分类任务中的概率分布估计。其公式在定点计算中一般形式如下：

\[
P_i = \frac{e^{x_i / scale}}{\sum_j e^{x_j / scale}}
\]

其中 \( x_i \) 是输入向量的第 i 个元素，\( scale \) 是一个小的正数（例如 1 或者 2^(-n)，n 是位宽），用来控制指数膨胀的速度。

2. GELU (Gaussian Error Linear Units) 函数：这是一种连续非线性函数，模仿人类神经元的激活模式。其公式在定点计算中通常是:

\[
y_i = x_i * \left(1 + \frac{2}{\sqrt{\pi}} erf\left(\frac{x_i}{\sqrt{2}}\right)\right)
\]

erf 表示误差函数，对于较小的 \( x_i \) 可以近似为 \( x_i \cdot \left(1 - \frac{x_i^2}{2}\right) \)，在定点计算中会根据精度进行调整。

3. LayerNorm (Layer Normalization)：这是一个归一化方法，对每个通道的数据独立地做标准化。其公式在定点计算中为：

\[
\text{LN}(x)_i = \frac{x_i - E[x_i]}{\sqrt{\text{Var}[x_i] + \epsilon}} + \gamma, \quad \text{where} \quad \gamma, \beta \text{ 是学习参数}
\]

这里 \( E[\cdot] \) 和 \( \text{Var}[\cdot] \) 分别代表均值和方差，\( \epsilon \) 是一个小的值防止除零。

对于这些问题的相关疑问：