nn.leakyrelu函数

`nn.LeakyReLU` 是 PyTorch 中的激活函数之一。它可以用于神经网络模型中的非线性变换。

LeakyReLU 激活函数与传统的 ReLU（Rectified Linear Unit）函数类似，但有一个重要的区别。在 ReLU 函数中，当输入小于等于零时，输出为零；而在 LeakyReLU 函数中，当输入小于等于零时，输出为输入乘以一个小的斜率（通常为 0.01）。这个斜率使得负数输入的信号不会被完全抑制，从而可以保留一些有用的信息。

在 PyTorch 中，可以通过 `nn.LeakyReLU` 类来使用 LeakyReLU 激活函数。以下是一个示例：

import torch
import torch.nn as nn

# 定义一个带有 LeakyReLU 激活函数的全连接层
layer = nn.Linear(10, 5)
activation = nn.LeakyReLU()

# 使用 LeakyReLU 激活函数进行前向传播
x = torch.randn(10)
output = activation(layer(x))

print(output)

在这个示例中，我们首先定义了一个具有 10 个输入和 5 个输出的全连接层 `layer`。然后，我们创建了一个 `nn.LeakyReLU` 对象作为激活函数。最后，我们将输入 `x` 通过全连接层和 LeakyReLU 激活函数进行前向传播，并输出结果。

希望这可以回答你的问题。如果还有其他问题，请随时提问！