pytorch的relu

PyTorch中的ReLU函数有两种实现方式：一种是torch.nn.ReLU()，另一种是torch.functional.relu()。其中，torch.nn.ReLU()是一个网络层，可以在模型中使用；而torch.functional.relu()是一个函数，可以在模型的forward方法中使用。

以下是两种实现方式的例子：

1.使用torch.nn.ReLU()实现ReLU函数：

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(5, 1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

net = Net()
input = torch.randn(1, 10)
output = net(input)
print(output)

2.使用torch.functional.relu()实现ReLU函数：

import torch
import torch.nn.functional as F

input = torch.randn(1, 10)
output = F.relu(input)
print(output)