sigmoid tanh relu

sigmoid、tanh 和 relu 是三种常用的激活函数，用于神经网络中的神经元的输出值的非线性变换。

sigmoid 函数将输入值映射到 0 到 1 的范围内，公式为 f(x) = 1 / (1 + e^(-x))。

tanh 函数将输入值映射到 -1 到 1 的范围内，公式为 f(x) = (e^x - e^(-x)) / (e^x + e^(-x))。

relu 函数在输入值大于 0 时输出等于输入值，小于等于 0 时输出 0，公式为 f(x) = max(0, x)。

在实际应用中，relu 函数是最常用的激活函数，因为它计算简单、速度快，且在处理大量数据时具有较好的泛化能力。sigmoid 和 tanh 函数在某些情况下也有应用，例如在二分类问题中使用 sigmoid 作为输出层的激活函数。