用尽可能多的字数介绍Leaky ReLU激活函数

Leaky ReLU激活函数是一种常用的非线性激活函数，它可以有效防止ReLU函数出现“死亡神经元”问题。它的函数形式为：f(x)=max(αx,x)，其中α是衰减系数，常取0.01。Leaky ReLU激活函数，不管输入x是正数还是负数，其输出都为正数，当x<0时，ReLU的输出是0，Leaky ReLU的输出只是较小的正数。它可以加快训练速度，提高模型的鲁棒性，改善梯度消失等问题，所以在深度学习中应用较多。