leakyRelu函数
时间: 2023-11-11 14:36:59 浏览: 84
Keras 中Leaky ReLU等高级激活函数的用法
LeakyReLU (Leaky Rectified Linear Unit) 是一种修正线性单元 (ReLU) 的变体,它在输入小于零时不会完全归零,而是乘以一个小常数(通常为 0.01),以避免梯度消失问题。LeakyReLU 的公式如下:
f(x) = alpha * x , x < 0
f(x) = x , x >= 0
其中 alpha 是小常数,一般取 0.01。LeakyReLU 通常用于深度神经网络中,可以加快收敛速度,提高模型的泛化能力。
阅读全文