module 'torch.nn' has no attribute 'GeLU

引用[1]和[2]中提到的错误"AttributeError: module 'torch.nn' has no attribute 'GELU'"是由于在较旧版本的PyTorch中，没有名为"GELU"的激活函数。在新版本的PyTorch中，可以使用"nn.ReLU"代替。所以，你需要将代码中的"nn.GELU"替换为"nn.ReLU"。另外，你还需要导入"torch.nn.functional"模块，并使用"gelu"函数来替代"nn.ReLU"。具体的修改步骤如下：

1. 导入"torch.nn.functional"模块：

import torch.nn.functional as F

2. 将代码中的"nn.GELU"替换为"nn.ReLU"：

self.af1 = nn.ReLU(inplace=True)

3. 将"nn.ReLU"替换为"gelu"函数：

self.af1 = F.gelu

这样修改后，你的代码就不会再报错"AttributeError: module 'torch.nn' has no attribute 'GELU'"了。希望对你有帮助！