pytorch datasets模块

PyTorch 的 `datasets` 模块是一个用于管理和加载数据集的工具。它提供了一个标准化的接口，可以轻松地下载、预处理、以及加载各种常用的数据集，如 MNIST、CIFAR10、CIFAR100 等。同时，它还提供了一些工具，可以帮助我们自定义数据集。

`datasets` 模块的主要功能如下：

1. 数据集的下载和缓存管理
2. 数据集的预处理和转换
3. 数据集的划分和迭代器生成

下面是一个示例，展示如何通过 `datasets` 模块加载 MNIST 数据集：

import torch
from torchvision import datasets, transforms

# 定义数据转换
transform = transforms.Compose([
    transforms.ToTensor(),  # 转换为张量
    transforms.Normalize((0.1307,), (0.3081,))  # 标准化
])

# 加载 MNIST 数据集
train_dataset = datasets.MNIST('./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST('./data', train=False, download=True, transform=transform)

# 创建数据迭代器
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=64, shuffle=False)

在上面的示例中，我们首先定义了一个 `transform` 对象，用于对加载的数据集进行预处理和转换。然后，我们通过 `datasets.MNIST` 方法加载 MNIST 数据集，并传入了一些参数，如数据集的存储路径、是否下载、以及预处理方式等。最后，我们使用 `DataLoader` 对象将数据集划分成批次，并生成数据迭代器。