在建立bert模型时将数据集划分为训练集、验证集和测试集

在建立BERT模型时，通常需要将数据集划分为训练集、验证集和测试集，以便评估模型的性能。可以使用以下代码将数据集划分为这三个部分：

import random

# 读取数据集
with open("data.txt", "r", encoding="utf-8") as f:
    data = f.readlines()

# 随机打乱数据集
random.shuffle(data)

# 划分数据集
train_size = int(0.8 * len(data))  # 训练集占 80%
val_size = int(0.1 * len(data))   # 验证集占 10%
test_size = len(data) - train_size - val_size  # 测试集占 10%

train_data = data[:train_size]
val_data = data[train_size:train_size+val_size]
test_data = data[-test_size:]

# 将数据集保存为文件
with open("train.txt", "w", encoding="utf-8") as f:
    f.writelines(train_data)

with open("val.txt", "w", encoding="utf-8") as f:
    f.writelines(val_data)

with open("test.txt", "w", encoding="utf-8") as f:
    f.writelines(test_data)

在上面的代码中，我们首先读取数据集，并使用 `random.shuffle()` 函数将数据集打乱。然后，我们根据训练集、验证集和测试集的比例计算它们的大小，并使用切片操作将数据集划分为这三个部分。最后，我们将这三个部分的数据保存到不同的文件中。

划分数据集的比例可以根据具体的任务和数据集进行调整，通常情况下，训练集占总数据集的 60% ~ 90%，验证集和测试集各占总数据集的 5% ~ 20%。