有哪些激活函数？各自优缺点？

常见的激活函数主要包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数和tanh函数等。

sigmoid函数的优点是输出值在0到1之间，可以将输出解释为概率；缺点是在输入较大或较小时，梯度接近于0，容易出现梯度消失现象。

ReLU函数的优点是计算速度快，不存在梯度消失问题；缺点是在输入小于0时，梯度为0，容易出现神经元死亡现象。

Leaky ReLU函数是ReLU函数的改进版，可以解决神经元死亡问题。

ELU函数是另一种改进版的ReLU函数，可以缓解ReLU函数在负数区间的问题。

tanh函数的优点是输出值在-1到1之间，可以将输出解释为有符号的概率；缺点是在输入较大或较小时，梯度接近于0，容易出现梯度消失现象。

相关问题

几种激活函数各自的优缺点

常见的激活函数有sigmoid、ReLU和tanh函数。

Sigmoid函数优点是使用方便，输出结果介于0和1之间，较为平滑；缺点是容易出现梯度消失问题，在神经网路层数较深时表现不佳。

ReLU函数优点是计算速度快，几乎不存在梯度消失问题，同时在深度学习中具有较好的表现；缺点是可能导致神经元死亡现象，即输出恒为0。

Tanh函数优点是在输入为负时输出负值，在输入为正时输出正值，具有对称性；缺点是同样有梯度消失问题，而且输出不再是0-1之间，需要进行归一化等处理。

综合来看，ReLU函数被广泛使用，但在某些情况下tanh和sigmoid函数也可以有优秀的表现。

深度学习模型的激活函数有哪些？

常用的深度学习模型的激活函数有以下几种：

1. Sigmoid 函数：将输入值映射到 0 到 1 之间。
2. Tanh 函数：将输入值映射到 -1 到 1 之间。
3. ReLU 函数：将负数部分直接截断为 0，保留正数部分。
4. Leaky ReLU 函数：与 ReLU 函数类似，但是将负数部分乘以一个小的正数。
5. PReLU 函数：Leaky ReLU 的一种变体，参数化的 ReLU 函数。
6. ELU 函数：指数线性单元函数，可以在保持非负性的同时将负数部分压缩得更小。
7. Swish 函数：类似于 Sigmoid 函数，但是在 Sigmoid 函数的基础上增加一个非线性因子。

这些激活函数在不同的场景下都有各自的优缺点，需要根据具体的任务和数据选择合适的激活函数。