Leaky ReLU函数

Leaky ReLU是一种修正线性单元（ReLU）的变体，它在输入小于零时不是完全清零，而是有一个小的负斜率。其数学表达式为：

LeakyReLU(x) = max(ax, x)

其中a是一个小于1的正数，通常设置为0.01，以便保持负斜率的小幅度。

与标准ReLU相比，Leaky ReLU的优点在于它可以避免死亡神经元的问题。在标准ReLU中，如果某个神经元的输出一直为负数，那么梯度为0，这个神经元就不会再被更新，从而影响整个神经网络的性能。而使用Leaky ReLU可以避免这个问题，因为即使输出一直为负数，梯度仍然不为0，这个神经元仍然可以被更新。