常见的激活函数有哪些?它们的优缺点是H么?

常见的激活函数有sigmoid、ReLU、LeakyReLU、ELU、tanh等。

sigmoid函数优点是它的输出范围在0到1之间，可以将输出视为概率，适用于二分类问题；缺点是它存在梯度消失/爆炸问题，导致训练不稳定。

ReLU函数优点是计算速度快，没有梯度消失问题；缺点是存在神经元死亡问题，即某些神经元可能永远不会被激活。

LeakyReLU函数是ReLU函数的改进版，缓解了神经元死亡问题；缺点是存在负数输出，对于某些任务可能不太合适。

ELU函数在负数区间内有非常小的斜率，也能缓解神经元死亡问题，且输出在0以上；缺点是计算速度相对较慢。

tanh函数类似于sigmoid函数，但输出范围在-1到1之间，也存在梯度消失/爆炸问题。

相关问题

有哪些激活函数？各自优缺点？

常见的激活函数主要包括sigmoid函数、ReLU函数、Leaky ReLU函数、ELU函数和tanh函数等。

sigmoid函数的优点是输出值在0到1之间，可以将输出解释为概率；缺点是在输入较大或较小时，梯度接近于0，容易出现梯度消失现象。

ReLU函数的优点是计算速度快，不存在梯度消失问题；缺点是在输入小于0时，梯度为0，容易出现神经元死亡现象。

Leaky ReLU函数是ReLU函数的改进版，可以解决神经元死亡问题。

ELU函数是另一种改进版的ReLU函数，可以缓解ReLU函数在负数区间的问题。

tanh函数的优点是输出值在-1到1之间，可以将输出解释为有符号的概率；缺点是在输入较大或较小时，梯度接近于0，容易出现梯度消失现象。

常用的激活函数有哪些?常用的损失函数又哪些?它们各自的使用场景是怎么样的?

常用的激活函数有sigmoid、ReLU、tanh等。sigmoid函数一般用于二分类问题，ReLU函数在深度学习中应用较广，tanh函数在回归问题中会比sigmoid效果更好。 常用的损失函数有交叉熵、均方误差、对数损失等。交叉熵函数一般用于分类问题，均方误差适用于回归问题，对数损失函数一般用于逻辑回归问题。损失函数的选择取决于不同的问题。