torch gelu

Torch GELU（Gaussian Error Linear Unit）是一种激活函数，灵感来源于自然神经元中神经元激活的概率模型。GELU最初在Transformer架构的BERT模型中被广泛采用，目的是提供一种平滑且在某些情况下比传统的ReLU更有效的非线性转换。

GELU函数的数学公式定义为：
`G(x) = x * Phi(x)`, 其中 `Phi(x)` 是标准正态分布的累积分布函数（cumulative distribution function, PDF），即 `Phi(x) = (1 + erf(x / sqrt(2))) / 2`，`erf()` 是误差函数。

GELU相比于ReLU的优点在于：
1. 对于小的输入值，它的斜率接近线性，对于大的输入值，它接近ReLU，提供了更好的连续性。
2. 它可以减少模型在训练初期的方差爆炸问题，有助于缓解梯度消失或梯度爆炸的情况。