数据集划分为三个Split,然后分别加载到Dataloader中

数据集通常会被划分为训练集（Training Set）、验证集（Validation Set）和测试集（Test Set），这三个部分的目的各不相同：

1. **训练集**：用于训练模型。模型会在这个数据上学习规律和特征，这是模型构建的主要阶段。

2. **验证集**：也叫开发集（Development Set），在训练过程中，模型会定期在验证集上评估性能，以便调整超参数、防止过拟合，并选择最佳模型版本。

3. **测试集**：模型训练完成后才使用的数据，用于最终的性能评估，保证模型在未见过的数据上的泛化能力。

为了将这些数据分批处理并提供给机器学习算法，我们会创建DataLoader对象。对于每个Split，我们通常会设置不同的配置，比如batch_size（批次大小）、shuffle（是否打乱顺序）以及随机数种子等。例如，在PyTorch中，可以这样做：

train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False)
test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)

这样，每次迭代时，对应的数据集会被按设定的方式加载和处理，便于模型训练和评估。