人工神经网络激活函数

人工神经网络的激活函数是一种将输入映射到输出的非线性函数。常见的激活函数包括：

1. Sigmoid函数：将输入值映射到0和1之间的连续输出。它具有平滑的S形曲线，公式为f(x) = 1 / (1 + exp(-x))。

2. ReLU函数：ReLU（Rectified Linear Unit）是一种简单而常用的激活函数。对于正输入，它返回输入值本身，对于负输入，它返回0。公式为f(x) = max(0, x)。

3. Leaky ReLU函数：Leaky ReLU是ReLU的改进版本，可以解决ReLU在负输入时可能出现的神经元死亡问题。对于负输入，它返回一个小的斜率乘以输入值，而不是0。公式为f(x) = max(0.01x, x)。

4. Tanh函数：Tanh函数将输入值映射到-1和1之间的连续输出。它具有S形曲线，但相对于Sigmoid函数来说更加陡峭。公式为f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))。

这些是常见的激活函数，每个激活函数都有不同的特点和适用场景。选择适当的激活函数可以提高神经网络的性能和训练效果。