dataloader

DataLoader是PyTorch中用于加载数据的工具。它允许用户以批量方式加载数据，并自动进行数据分片、样本随机化和多线程处理等操作。DataLoader可以接受一个数据集对象作为输入，该对象必须实现__len__和__getitem__函数。__len__函数返回数据集中的样本数量，而__getitem__函数则按索引返回一个样本。

使用DataLoader时，用户可以指定批量大小、是否随机化样本、是否使用多线程处理数据等参数。例如，以下代码片段演示了如何使用DataLoader加载一个MNIST数据集：

from torchvision.datasets import MNIST
from torch.utils.data import DataLoader

# 加载 MNIST 数据集
mnist_dataset = MNIST(root='data/', train=True, transform=None, download=True)

# 创建 DataLoader
batch_size = 32
shuffle = True
num_workers = 4
mnist_dataloader = DataLoader(mnist_dataset, batch_size=batch_size, shuffle=shuffle, num_workers=num_workers)

# 迭代 DataLoader
for batch_idx, (data, target) in enumerate(mnist_dataloader):
    # 在此处对数据进行操作
    pass

在上述代码中，我们首先加载了一个MNIST数据集，然后使用DataLoader创建了一个批量大小为32的数据加载器。我们还将shuffle参数设置为True，以便在每个epoch时随机化样本。最后，我们可以在迭代DataLoader时访问每个批次中的数据和标签。