Relue Gelu softmax sigmoid

Relu、Gelu、Softmax和Sigmoid都是常见的神经网络激活函数。

- Relu函数（Rectified Linear Unit）: 是一种非线性激活函数，常用于深度神经网络的中间层。它的数学表达式为f(x)=max(0, x)，即当输入大于0时，输出为输入本身，当输入小于等于0时，输出为0。Relu函数具有简单、易于计算的特点，常被用来替代传统的sigmoid函数，以提高计算速度和模型性能。

- Gelu函数（Gaussian Error Linear Unit）: 是一种非线性激活函数，最初由Google提出。Gelu函数的数学表达式为f(x)=x * P(X≤x)，其中P(X≤x)是高斯分布函数。相比Relu函数，Gelu函数在负数区域呈现平滑的曲线，更适合处理分布范围比较广泛的数据。

- Softmax函数: 是一种常用的分类器激活函数，通常用于神经网络的输出层。它可以将向量中每个元素压缩到[0,1]区间内，并保证所有元素的和为1。Softmax函数的数学表达式为：f(x_i)=e^(x_i)/sum(e^(x_j))。

- Sigmoid函数: 是一种常用的激活函数，通常用于二分类问题。它的数学表达式为f(x)=1/(1+e^(-x))，它将输入值映射到[0,1]区间内，并具有平滑的S形曲线特征。