搭建自己的dataset和dataloader

搭建自己的dataset和dataloader通常是在深度学习项目中，特别是定制化的数据处理流程中必不可少的步骤。Dataset通常是指数据集，它是一个容器，封装了训练、验证或测试的数据。对于自定义dataset，你需要：

1. **数据收集**：确定需要哪些数据，并确保它们按照合适的格式存储（如CSV、JSON、图像文件等）。

2. **数据预处理**：编写函数来加载原始数据并对其进行清洗、转换（例如，归一化、缩放、标签编码等），使其适合作为模型输入。

3. **创建类**：定义一个Python类，继承自torch.utils.data.Dataset。这个类需要实现`__len__()`和`__getitem__()`方法，前者返回数据集大小，后者根据索引返回一个数据样本。

class CustomDataset(Dataset):
    def __init__(self, data, transform=None):
        self.data = data
        self.transform = transform

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):
        sample = self.data[idx]
        if self.transform:
            sample = self.transform(sample)
        return sample

Dataloader则是将dataset转化为可以供模型迭代使用的数据流。torch.utils.data.DataLoader提供了一种高效的方式生成批次数据。它会负责加载数据、分批以及对数据进行随机化处理：

from torch.utils.data import DataLoader

def create_dataloader(dataset, batch_size, shuffle=True, num_workers=0):
    return DataLoader(
        dataset,
        batch_size=batch_size,
        shuffle=shuffle,
        num_workers=num_workers,
        drop_last=True  # 如果最后一个batch不足batch_size，则丢弃
    )