激活函数有什么作用？详细介绍常用的激活函数

激活函数是神经网络中的一种非线性函数，用于给神经元提供非线性映射，增强神经网络的表达能力。它的作用是将神经元的输入信号加权求和后的结果经过一定的处理后，输出一个非线性的结果。常用的激活函数有sigmoid、ReLU、Leaky ReLU、ELU、tanh等。

1. sigmoid函数

sigmoid函数是一个常用的激活函数，其函数形式为：f(x) = 1 / (1 + e^-x)。其输出值在0到1之间，可以将输出映射到一个概率值，常用于二分类问题。但是sigmoid函数存在梯度消失的问题，当x的绝对值很大时，其导数趋近于0，导致梯度消失。

2. ReLU函数

ReLU函数是近年来广泛使用的激活函数，其函数形式为：f(x) = max(0, x)。当x>0时，输出为x，否则输出为0。ReLU函数计算简单，且较好地解决了梯度消失问题，但是存在神经元“死亡”的问题，即当神经元的输出为0时，无法再被激活。

3. Leaky ReLU函数

Leaky ReLU函数是对ReLU函数的改进，其函数形式为：f(x) = max(ax, x)，其中a是一个小于1的正数。当x>0时，输出为x，否则输出为ax。Leaky ReLU函数可以在x<0时仍然有一定的梯度，避免了神经元“死亡”的问题。

4. ELU函数

ELU函数是近年来提出的一种激活函数，其函数形式为：f(x) = x (x>0), f(x) = alpha(e^x-1) (x<=0)，其中alpha是一个小于1的常数。当x>0时，输出为x，否则输出为alpha(e^x-1)。ELU函数在x<0时仍然有一定的梯度，并且具有更好的性能表现，但计算复杂度较高。

5. tanh函数

tanh函数是一种常用的激活函数，其函数形式为：f(x) = (e^x - e^-x) / (e^x + e^-x)。其输出值在-1到1之间，与sigmoid函数类似，但是存在梯度消失的问题。与sigmoid函数不同的是，tanh函数在x<0时会产生负的输出值，因此不适用于所有的神经网络结构。