python 生成dataloader类

pyTorch可以使用dataloader类来方便地读取数据，dataloader是一个迭代器，可以将数据集分成小批量，从而处理大型数据集。在机器学习问题中，训练集的大小通常为成千上万，这时候我们就需要使用dataloader来加速数据的加载和训练，避免由于数据集过大而崩溃产生的问题。

在pyTorch中，我们可以通过torch.utils.data.DataLoader类生成dataloader。我们可以将数据集输入到数据加载器中，再设置一些参数，例如batch_size （表示每个batch的数据大小）、shuffle（表示是否将数据集打乱）等等。

例如，若我们已经定义了一个名为my_dataset的数据集，我们可以生成一个dataloader如下：

from torch.utils.data import DataLoader

dataloader = DataLoader(my_dataset, batch_size=32, shuffle=True)

这里，我们将my_dataset作为第一个参数传入DataLoader函数。设置batch_size为32，shuffle为True，表示将整个数据集打乱，然后每次返回大小为32的batch数据。我们可以通过迭代器方式获取每一个batch数据：

for batch_idx, (data, target) in enumerate(dataloader):
    # 对每一个batch数据进行操作

在每次迭代中，dataloader会返回一个元组，第一个元素表示一个大小为batch_size的数据张量，第二个元素表示对应的标签。在以上代码中，我们使用了enumerate函数，这样就可以在每个batch迭代中以及返回的数据批次中获取其索引。