Leaky ReLU函数及其梯度曲线的示意图

Leaky ReLU是一种修正线性单元，其激活函数为：
f(x) = max(ax, x)
其中，a是一个小于1的常数，通常为0.01。当x>=0时，Leaky ReLU的激活函数与ReLU相同，输出为x；当x<0时，Leaky ReLU的激活函数输出ax。与ReLU相比，Leaky ReLU解决了ReLU在x<0时出现的“神经元死亡”问题，同时也避免了ReLU在x<0时的梯度为0的问题。Leaky ReLU的梯度曲线在x<0时保持一定的倾斜，使得神经元可以在训练中不会停滞。

以下是Leaky ReLU函数及其梯度曲线的示意图：