pytorch代码实现gelu激活函数

以下是使用PyTorch实现的GELU激活函数：

import torch
import math

class GELU(torch.nn.Module):
    def __init__(self):
        super(GELU, self).__init__()

    def forward(self, x):
        return 0.5 * x * (1 + torch.tanh(math.sqrt(2 / math.pi) * (x + 0.044715 * torch.pow(x, 3))))

在这个实现中，我们首先定义了一个`GELU`类，该类继承自`torch.nn.Module`。然后我们定义了`__init__`方法，该方法调用了`super`函数，以便调用父类的初始化方法。

在`forward`方法中，我们使用了GELU激活函数的标准实现。具体来说，我们计算了一个系数，然后使用该系数和输入张量计算GELU激活函数的输出。

我们可以将该实现与其他PyTorch模型集成，以便在训练或推理过程中使用GELU激活函数。例如，我们可以使用以下代码将该模型与一个简单的全连接层模型集成：

class MyModel(torch.nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = torch.nn.Linear(10, 20)
        self.gelu = GELU()
        self.fc2 = torch.nn.Linear(20, 1)

    def forward(self, x):
        x = self.fc1(x)
        x = self.gelu(x)
        x = self.fc2(x)
        return x

在这个模型中，我们使用了一个具有10个输入和20个输出的全连接层，然后对其进行GELU激活。最后，我们使用另一个全连接层将其转换为单个输出。该模型可以像任何其他PyTorch模型一样进行训练和推理。