pytorch调用R-Relu

在 PyTorch 中，R-Relu 可以通过自定义激活函数的方式实现。下面是一个简单的示例代码：

import torch
import torch.nn as nn

class RRelu(nn.Module):
    def __init__(self, lower=0.125, upper=0.333):
        super(RRelu, self).__init__()
        self.lower = lower
        self.upper = upper
        self.alpha = nn.Parameter(torch.Tensor([self.lower]))

    def forward(self, x):
        pos = torch.relu(x)
        neg = torch.relu(x - self.alpha) * (self.upper - self.lower)
        return pos - neg

# 使用 RRelu 激活函数的神经网络模型
class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(10, 20)
        self.act1 = RRelu()
        self.fc2 = nn.Linear(20, 1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.act1(x)
        x = self.fc2(x)
        return x

在这个示例中，我们定义了一个名为 RRelu 的类，它继承自 nn.Module，实现了 R-Relu 激活函数的前向传播。我们还定义了一个名为 MyModel 的神经网络模型，其中使用了 RRelu 激活函数。在模型的 forward 方法中，我们首先对输入数据进行全连接操作（fc1），然后使用 RRelu 激活函数（act1），最后再进行一次全连接操作（fc2），得到输出结果。