ReLU函数和Leaky ReLU

ReLU函数是一种常用的激活函数，它的表达式为：

f(x) = max(0, x)

其中，当x大于等于0时，函数值等于x；当x小于0时，函数值为0。ReLU函数的主要优点是计算速度快，且能够避免梯度消失的问题。但是，当输入值小于0时，ReLU函数会输出0，导致神经元失活，影响模型的表达能力。

为了解决这个问题，Leaky ReLU函数被提出。它的表达式为：

f(x) = max(ax, x)

其中，a是一个小于1的正数，通常取0.01。当x大于等于0时，函数值等于x；当x小于0时，函数值等于ax。相比于ReLU函数，Leaky ReLU函数在输入值小于0时能够保持一定的梯度，避免神经元失活，提高模型表达能力。