nn.LeakyReLU()

`nn.LeakyReLU()`是PyTorch中实现LeakyReLU激活函数的类。它的构造函数有两个可选参数：

- `negative_slope`：默认值为0.01，表示当输入小于0时的斜率。
- `inplace`：默认值为False，表示是否将输出直接覆盖到输入的张量上。

使用`nn.LeakyReLU()`时，可以像下面这样调用：

import torch.nn as nn

# 创建一个有LeakyReLU激活函数的全连接层
layer = nn.Linear(in_features=10, out_features=5)
activation = nn.LeakyReLU(negative_slope=0.2, inplace=True)

# 将激活函数应用于全连接层输出
output = activation(layer(input))

在这个例子中，我们创建了一个有LeakyReLU激活函数的全连接层，并将其应用于输入张量`input`。我们通过指定`negative_slope`和`inplace`参数来自定义LeakyReLU的行为。例如，我们将`negative_slope`设置为0.2表示当输入小于0时的斜率为0.2，将`inplace`设置为True表示直接在输入张量上进行覆盖。

相关问题

nn.leakyrelu

### Leaky ReLU 激活函数概述

Leaky ReLU 是一种改进版的 ReLU 激活函数，旨在解决标准 ReLU 对于负输入完全抑制的问题。对于负输入，Leaky ReLU 提供了一个很小的非零梯度，从而使得这些单元不会彻底死亡。

#### 数学表达式
Leaky ReLU 的定义如下：

\[ \text{LeakyReLU}(x) =
\begin{cases}
x & \text{if } x > 0 \\
\nu x & \text{if } x \leq 0
\end{cases}
\]

其中 \( \nu \) 是一个小的正值常数，默认情况下通常设置为 0.01[^2]。

#### 特性分析

- **防止死区现象**：相比于传统的 ReLU 函数，当输入小于等于零时，Leaky ReLU 并不是简单地输出零而是给出一个非常小的比例缩放后的值。这样可以有效避免神经元进入所谓的“死区”，即一旦某个节点被激活成零之后就永远不会再被激活的情况。

- **保持非线性性质**：虽然引入了斜率为 \( \nu \) 的直线段来处理负输入区域，但是整体仍然保留着非线性的特点，这对于构建复杂的模型至关重要[^3]。

- **缓解梯度消失问题**：即使在网络较深的情况下也能较好地传递误差信号回传给前面各层，因为其导数值始终大于零，不存在像Sigmoid那样接近饱和区间的极低梯度情况[^5]。

#### PyTorch 实现示例

以下是使用PyTorch框架实现Leaky ReLU的一个简单例子:

import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(in_features=784, out_features=256)
        self.relu = nn.LeakyReLU(negative_slope=0.01)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        return x

在这个代码片段中，`negative_slope` 参数指定了应用于负输入的比例因子 \( \nu \)，默认值设为了 0.01。

nn.LeakyReLU

nn.LeakyReLU是PyTorch中的一个激活函数，它是Leaky Rectified Linear Unit（泄露修正线性单元）的缩写。与ReLU相比，LeakyReLU在负轴上保留了一些值，通过引入一个小的斜率来缓解激活值过小导致的问题。LeakyReLU的公式如下：

LeakyReLU(x) = max(0, x) + α * min(0, x)

其中，x是输入值，α是斜率，默认值为0.01。