激活层及其每种激活函数的特点

激活层是神经网络中的一个重要组成部分，它用于将神经元的输出转换成非线性的形式。常见的激活函数有sigmoid、tanh、ReLU、LeakyReLU等。

1. Sigmoid函数：将输入值压缩到0~1之间。在输出值接近0或1时，梯度会接近0，造成梯度消失的问题。

2. Tanh函数：将输入值压缩到-1~1之间。与Sigmoid类似，当输出值接近边界时，会出现梯度消失的问题。

3. ReLU函数：将负值输出为0，正值保持不变。梯度在正区间始终为1，避免了梯度消失的问题，但也可能出现“神经元死亡”的问题。

4. LeakyReLU函数：与ReLU类似，将负值进行小幅度修正，避免了“神经元死亡”的问题。

5. ELU函数：在负域上有一个指数函数，避免了ReLU的“神经元死亡”问题。

6. Softmax函数：用于多分类问题，将输出值转换为概率分布。

不同的激活函数适用于不同的情况，选择合适的激活函数可以提高神经网络的性能。