请论述sigmoid,tanh,ReLU函数的优缺点

1. Sigmoid函数

Sigmoid函数是一种常见的非线性激活函数，其公式为f(x) = 1 / (1 + exp(-x))。

优点：
- Sigmoid函数的输出值在（0,1）之间，可以将输出值看作概率值，常用于二分类问题。
- Sigmoid函数在函数图像上具有可视化的S形状，易于理解和解释。

缺点：
- Sigmoid函数存在梯度消失的问题，当输入的绝对值比较大时，Sigmoid函数的导数趋近于0，反向传播的梯度会趋近于0，导致网络无法更新参数。
- Sigmoid函数的输出不以0为中心，因此会导致神经网络中的权重更新不稳定。

2. Tanh函数

Tanh函数是一种双曲正切函数，其公式为f(x) = (exp(x) - exp(-x)) / (exp(x) + exp(-x))。

优点：
- Tanh函数的输出值在（-1,1）之间，可以将输出值看作概率值，常用于二分类问题。
- Tanh函数在函数图像上具有可视化的S形状，易于理解和解释。
- Tanh函数相对于Sigmoid函数来说，输出以0为中心，因此会更加稳定。

缺点：
- Tanh函数也存在梯度消失的问题，当输入的绝对值比较大时，Tanh函数的导数趋近于0，反向传播的梯度会趋近于0，导致网络无法更新参数。

3. ReLU函数

ReLU函数是一种常见的非线性激活函数，其公式为f(x) = max(0, x)。

优点：
- ReLU函数计算速度快，且不需要进行指数运算，因此在大规模深度神经网络中表现较为出色。
- ReLU函数不存在梯度消失的问题，当输入为正时，函数导数为1，因此反向传播的梯度始终保持不变。
- ReLU函数通过将负值截断为0，实现了稀疏性，使得神经网络中的部分神经元变得不活跃，从而提高了模型的泛化能力。

缺点：
- ReLU函数存在神经元死亡的问题，当输入为负时，函数导数为0，导致该神经元无法被更新，影响模型的性能。
- ReLU函数不是以0为中心，因此可能导致神经网络中的权重更新不稳定。