Sigmoid函数、ReLu函数和Softmax函数的使用

这三个函数都是常用的激活函数，用于神经网络中的隐藏层或输出层。

Sigmoid函数将输入值映射到0和1之间的值，常用于二分类问题的输出层。它的数学公式为：f(x) = 1 / (1 + e^-x)。

ReLu函数（Rectified Linear Unit）将负值直接设为0，可以加快神经网络的训练速度。它的数学公式为：f(x) = max(0, x)。

Softmax函数将多个输入值映射为0和1之间的概率分布，适用于多分类问题的输出层。它的数学公式为： f(x_i) = e^(x_i) / (e^(x_1) + e^(x_2) + ... + e^(x_n))。

在神经网络中，这些函数可以帮助模型更好地学习数据的非线性关系，提高模型的精度和泛化能力。