Leaky ReLU函数及其梯度曲线的示意图

Leaky ReLU是一种修正线性单元，其激活函数为：
f(x) = max(ax, x)
其中，a是一个小于1的常数，通常为0.01。当x>=0时，Leaky ReLU的激活函数与ReLU相同，输出为x；当x<0时，Leaky ReLU的激活函数输出ax。与ReLU相比，Leaky ReLU解决了ReLU在x<0时出现的“神经元死亡”问题，同时也避免了ReLU在x<0时的梯度为0的问题。Leaky ReLU的梯度曲线在x<0时保持一定的倾斜，使得神经元可以在训练中不会停滞。

以下是Leaky ReLU函数及其梯度曲线的示意图：


相关问题

Leaky ReLU 函数及其梯度曲线

Leaky ReLU函数是一种修正线性单元函数（ReLU）变体，其定义为：

f(x) = max(ax, x)

其中a是一个小于1的常数，通常为0.01。它在x < 0时会有一个小的斜率a，而在x ≥ 0时它是一个恒等函数。这种形式使得Leaky ReLU在输入为负时不会完全置零，从而避免了ReLU常见的“神经元死亡”问题。

下面是Leaky ReLU函数及其梯度曲线的示意图：


Leaky ReLU的梯度函数为：

f'(x) = { a (x < 0)
{ 1 (x ≥ 0)

因此，当输入为负时，它的梯度为一个小的常数a，而在输入为正时，它的梯度为1。