nn.LeakyReLU(
时间: 2024-04-12 10:33:20 浏览: 45
pytorch方法测试——激活函数(ReLU)详解
torch.nn.leakyrelu是PyTorch中的一个激活函数,它是一个带有负斜率的修正线性单元(ReLU)。与传统的ReLU不同,当输入为负数时,它不会输出,而是输出一个小的负数,这样可以避免神经元死亡的问题。它的数学表达式为:f(x) = max(, x) + negative_slope * min(, x)。其中,negative_slope是一个小于1的正数,表示负斜率的大小。
阅读全文