用python编写一个类GPT模型

好的，下面是一个简单的类GPT模型的Python代码：

import torch
import torch.nn as nn

class GPTModel(nn.Module):
    def __init__(self, vocab_size, embedding_dim, hidden_dim, num_layers):
        super(GPTModel, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embedding_dim)
        self.transformer = nn.TransformerEncoderLayer(embedding_dim, nhead=4, dim_feedforward=hidden_dim)
        self.fc = nn.Linear(embedding_dim, vocab_size)

    def forward(self, x):
        embedded = self.embedding(x)
        transformer_output = self.transformer(embedded)
        output = self.fc(transformer_output)
        return output

这个类GPT模型包含了三个主要的部分：嵌入层、Transformer编码器和全连接层。嵌入层将输入的单词索引映射为词嵌入向量，Transformer编码器将词嵌入向量转换为上下文向量，全连接层将上下文向量映射为输出单词的概率分布。在 `__init__` 函数中，我们定义了这些模块的参数，包括词汇表大小、嵌入维度、隐藏维度和编码器层数。在 `forward` 函数中，我们将输入张量传递给嵌入层，然后将嵌入向量传递给Transformer编码器，最后将输出传递给全连接层。