sigmod和relu

SIGMOID和RELU都是常用的激活函数，用于在神经网络中引入非线性性质。

SIGMOID函数是一个S形曲线，将输入的值映射到0到1之间的范围。它的公式为：f(x) = 1 / (1 + exp(-x))。SIGMOID函数在前向传播过程中能够将输入值压缩到0和1之间，适用于二分类问题或需要输出概率的问题。

RELU函数（修正线性单元）是一个简单的非线性函数，它在输入值大于零时返回该值，否则返回零。它的公式为：f(x) = max(0, x)。RELU函数在前向传播过程中很容易计算，并且在处理大量数据时具有快速计算速度。它在深度神经网络中被广泛使用，可以有效地减轻梯度消失问题。

SIGMOID函数和RELU函数各有优缺点，适用于不同的场景和任务。在神经网络设计中，根据具体需求选择合适的激活函数来提高模型的性能。