leaky rectified linear unit activations是什么样的激活

Leaky ReLU (LReLU)是一种修正线性单元(Rectified Linear Unit, ReLU)的变体，它可以在输入为负数时，不像ReLU的输出为0，而是输出一个小的非零值。LReLU的数学表达式如下：

f(x) = max(ax, x)

其中a是一个小于1的正数，也被称为负斜率(leakage)，通常取值为0.1。

与ReLU相比，LReLU的优点在于可以解决ReLU的一个缺陷，即在输入为负数时，ReLU的梯度为0，导致在反向传播时无法进行参数更新。而LReLU在输入为负数时，梯度不为0，因此可以解决这个问题。另外，LReLU还能够提高模型的泛化能力和收敛速度。

总之，LReLU是一种比ReLU更加稳定和灵活的激活函数，常被用于深度神经网络的训练中。