LeakyReLU函数

LeakyReLU函数是对ReLU函数的改进，它可以在ReLU函数输入小于0时返回一个很小的斜率，而不是返回0。其函数表达式为：LeakyReLU(x) = max(alpha * x, x)，其中alpha为一个小于1的常数，一般取0.01或0.2。

LeakyReLU函数的优点是可以避免ReLU函数在输入小于0时出现的神经元死亡问题，即神经元无法更新的问题。因为在输入小于0时，LeakyReLU函数返回一个小的斜率，使得梯度不为0，从而可以让神经元继续更新。此外，LeakyReLU函数也比ReLU函数具有更强的鲁棒性，可以处理一些不同于训练数据分布的测试数据。

LeakyReLU函数可以看作是ReLU函数的一种变体，它在实践中被广泛应用于卷积神经网络和其他深度神经网络中。相对于其他激活函数，LeakyReLU函数具有简单、有效、易于计算等优点。