如何使用leaky_relu激活函数

Leaky ReLU是一个修正线性单元（ReLU）的变体，它允许函数的负数部分具有一个小的斜率而不是0。这可以帮助缓解ReLU可能遇到的“神经元死亡”问题。

在Python中，您可以使用以下代码使用leaky ReLU激活函数：

import torch.nn as nn

# 定义一个具有leaky ReLU激活函数的层
layer = nn.LeakyReLU(negative_slope=0.01)

# 在模型中使用这个层
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(100, 50)
        self.relu = nn.LeakyReLU(negative_slope=0.01)
        self.fc2 = nn.Linear(50, 10)
    
    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

在这个例子中，我们定义了一个具有斜率为0.01的负数部分的leaky ReLU层，并在模型的前向传递中使用它。您可以通过更改`negative_slope`参数来调整斜率的大小。