torch手写实现leakyrelu

可以的，LeakyReLU是一个修正线性单元，差别在于 ReLU 激活函数取 x<0 时函数值为0，而 LeakyReLU 则保留了一个小的斜率，此时函数值不再等于 0，这样能够避免gradient完全消失的问题。下面是 PyTorch 手写实现 LeakyReLU 的代码：

import torch
import torch.nn as nn


class LeakyReLU(nn.Module):
    def __init__(self, alpha=0.01):
        super(LeakyReLU, self).__init__()
        self.alpha = alpha

    def forward(self, x):
        return torch.max(self.alpha * x, x)

以上代码中，alpha的值可以根据具体情况进行调整。