数据读取DataLoader

数据读取DataLoader是PyTorch中用于构建可迭代数据装载器的类。它可以方便地从数据集中获取指定大小的批量数据，并支持多进程、数据打乱等处理。[1]

在使用DataLoader时，需要传入一个Dataset对象作为参数，该对象决定了数据从哪里读取以及如何读取。可以通过继承Dataset类来自定义数据集的格式、大小和其他属性。[1]

常用的DataLoader参数有：
- dataset：表示Dataset类，决定了数据从哪里读取以及如何读取。
- batch_size：表示批大小，即每次从数据集中获取的样本数量。
- num_workers：表示是否使用多进程读取数据。
- shuffle：表示每个epoch是否对数据进行乱序。
- drop_last：表示当样本数不能被batch_size整除时，是否舍弃最后一批数据。[2]

使用DataLoader可以通过for循环迭代获取数据，每次迭代会从Dataset中获取一个batch_size大小的数据。一个epoch表示将所有训练样本都输入模型中，而一个iteration表示一批样本输入到模型中。[2]

下面是一个使用DataLoader的示例：

import torch
from torch.utils.data import DataLoader

# 生成数据
data_tensor = torch.randn(10, 3)
target_tensor = torch.randint(2, (10,))

# 将数据封装成Dataset
my_dataset = MyDataset(data_tensor, target_tensor)

# 创建DataLoader
data_loader = DataLoader(my_dataset, batch_size=4, shuffle=True, num_workers=2)

# 使用DataLoader迭代获取数据
for batch_data, batch_target in data_loader:
    # 在这里进行模型训练或其他操作
    pass

在上述示例中，我们首先生成了数据和标签，然后将它们封装成一个自定义的Dataset对象。接着，我们创建了一个DataLoader对象，并指定了批大小、是否乱序和是否使用多进程等参数。最后，通过for循环迭代获取数据，每次迭代会得到一个batch_data和batch_target，可以在循环中进行模型训练或其他操作。[3]