常见的激活函数有哪些?它们的优缺点是H么?

常见的激活函数有sigmoid、ReLU、LeakyReLU、ELU、tanh等。

sigmoid函数优点是它的输出范围在0到1之间，可以将输出视为概率，适用于二分类问题；缺点是它存在梯度消失/爆炸问题，导致训练不稳定。

ReLU函数优点是计算速度快，没有梯度消失问题；缺点是存在神经元死亡问题，即某些神经元可能永远不会被激活。

LeakyReLU函数是ReLU函数的改进版，缓解了神经元死亡问题；缺点是存在负数输出，对于某些任务可能不太合适。

ELU函数在负数区间内有非常小的斜率，也能缓解神经元死亡问题，且输出在0以上；缺点是计算速度相对较慢。

tanh函数类似于sigmoid函数，但输出范围在-1到1之间，也存在梯度消失/爆炸问题。