给我看看GPT-1的核心代码

GPT-1 是一个较早的 GPT 模型，相比 GPT-2 和 GPT-3 的规模小得多，代码也相对简单。下面是一个简化版的 GPT-1 的核心代码，用于生成文本序列：

import torch
import torch.nn as nn

class GPT1(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_size, num_layers):
        super().__init__()
        self.token_embedding = nn.Embedding(vocab_size, embed_dim)
        self.transformer = nn.Transformer(hidden_size, num_layers)
        self.fc = nn.Linear(hidden_size, vocab_size)

    def forward(self, input_ids, attention_mask):
        input_embeds = self.token_embedding(input_ids)
        transformer_output = self.transformer(input_embeds, attention_mask)
        logits = self.fc(transformer_output)
        return logits

在这段代码中，我们首先定义了一个名为 GPT1 的类，它继承自 nn.Module 类。在类的构造函数中，我们定义了一个嵌入层（token_embedding）、一个 Transformer 层（transformer）和一个全连接层（fc）。这些层的参数都在初始化函数中进行了定义。

在 forward 函数中，我们将输入的 token IDs 通过嵌入层得到对应的 token embeddings，并将它们传入 Transformer 层进行处理。最后，我们通过全连接层将 Transformer 层输出的结果映射为模型的预测结果，即词汇表中每个单词的概率分布。

注意，这里的代码只是一个简化版的 GPT-1，实际的 GPT-1 模型还包括许多其他的细节和优化。