上述代码怎么训练自己的数据集

训练自己的数据集需要进行以下步骤：

1. 准备数据集

将数据集整理成文本文件的形式，每行代表一个文本内容。可以是对话记录、新闻文本、小说等。需要注意的是，数据集的质量对模型的训练效果有很大影响，因此需要尽可能减少噪声与错误数据。

2. 安装相关依赖

在训练之前，需要安装相关的 Python 库，包括 Transformers、PyTorch 等。可以通过 pip 进行安装：

pip install transformers pytorch

3. 加载数据集

使用 Python 读取数据集文件，将每行文本存储到一个列表中。

with open("data.txt", "r", encoding="utf-8") as f:
    data = f.readlines()

4. 清洗数据

对数据集进行清洗，包括去除无用的字符、标点符号等。可以使用 Python 的字符串操作函数进行处理。

import re

def clean_text(text):
    # 去除 HTML 标签
    text = re.sub(r"<[^>]+>", "", text)
    # 去除非字母字符
    text = re.sub(r"[^a-zA-Z]+", " ", text)
    # 去除多余空格
    text = re.sub(r"\s+", " ", text)
    # 转换为小写
    text = text.lower()
    return text

data = [clean_text(text) for text in data]

5. 分词

将每个文本内容分词，得到一个列表。可以使用 NLTK 或者 spaCy 等 Python 库进行分词。

import nltk

nltk.download("punkt")

def tokenize(text):
    return nltk.word_tokenize(text)

data = [tokenize(text) for text in data]

6. 训练模型

使用 Transformers 库中的 GPT2LMHeadModel 类进行模型训练。需要设置相关的超参数，包括学习率、批次大小、训练轮数等。训练过程可能需要较长时间，因此建议使用 GPU 进行加速。

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

model = GPT2LMHeadModel.from_pretrained("gpt2")

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

optimizer = torch.optim.Adam(model.parameters(), lr=1e-5)

train_dataset = []
for text in data:
    inputs = tokenizer.encode(text, return_tensors="pt").to(device)
    train_dataset.append(inputs)

model.train()
for epoch in range(10):
    for batch in train_dataset:
        optimizer.zero_grad()
        loss = model(batch, labels=batch)[0]
        loss.backward()
        optimizer.step()

7. 保存模型

训练完模型后，可以将模型保存到本地文件中，以备后续使用。

model.save_pretrained("my_model")
tokenizer.save_pretrained("my_model")

8. 加载模型

在后续使用时，可以从本地文件中加载模型，使用与预训练模型相同的方式进行调用。

from transformers import GPT2LMHeadModel, GPT2Tokenizer
import torch

tokenizer = GPT2Tokenizer.from_pretrained("my_model")
model = GPT2LMHeadModel.from_pretrained("my_model")
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

text = "今天天气不错"
inputs = tokenizer.encode(text, return_tensors="pt").to(device)
outputs = model.generate(inputs, max_length=50, do_sample=True)
result = tokenizer.decode(outputs[0])
print(result)