【进阶】PyTorch模型训练与评估

# 2.1 数据准备和预处理

### 2.1.1 数据集的获取和加载

在机器学习中，数据集是模型训练和评估的基础。PyTorch提供了丰富的内置数据集，如MNIST、CIFAR-10和ImageNet等。此外，用户还可以从网上或其他来源获取自定义数据集。

获取数据集后，需要将其加载到PyTorch中。PyTorch提供了`torch.utils.data`模块，该模块包含各种数据加载器类，如`DataLoader`和`Dataset`。`DataLoader`类负责将数据加载到批次中，而`Dataset`类定义了如何从数据源中获取和预处理数据。

# 加载MNIST数据集
from torchvision.datasets import MNIST
from torch.utils.data import DataLoader

# 定义数据加载器
train_dataset = MNIST(root='./data', train=True, download=True)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)

# 2. PyTorch模型训练基础

### 2.1 数据准备和预处理

**2.1.1 数据集的获取和加载**

PyTorch提供了多种方式来加载和处理数据集，包括：

- `torch.utils.data.Dataset`：自定义数据集类，用于表示和管理数据样本。
- `torch.utils.data.DataLoader`：数据加载器，用于从数据集加载批次数据。

代码块：

import torch
from torch.utils.data import Dataset, DataLoader

class MyDataset(Dataset):
    def __init__(self, data):
        self.data = data

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):
        return self.data[idx]

dataset = MyDataset([1, 2, 3, 4, 5])
dataloader = DataLoader(dataset, batch_size=2)

逻辑分析：

- `MyDataset`类继承自`Dataset`，重写了`__len__`和`__getitem__`方法，分别用于返回数据集的长度和获取指定索引的数据样本。
- `DataLoader`将数据集包装成一个可迭代对象，用于批量加载数据。`batch_size`参数指定每个批次包含的数据样本数量。

**2.1.2 数据预处理和特征工程**

数据预处理是将原始数据转换为模型可接受格式的过程，包括：

- **数据清洗：**删除缺失值、异常值和重复数据。
- **数据标准化：**将数据缩放或归一化到特定范围。
- **特征工程：**创建新特征或转换现有特征以提高模型性能。

代码块：

import torch
from sklearn.preprocessing import StandardScaler

# 数据清洗
data = data.dropna()

# 数据标准化
scaler = StandardScaler()
data = scaler.fit_transform(data)

# 特征工程
data['new_feature'] = data['feature1'] + data['feature2']

逻辑分析：

- `dropna()`方法删除了缺失值。
- `StandardScaler`类对数据进行了标准化，将每个特征缩放为均值为0、标准差为1。
- 创建了一个新特征`new_feature`，它是`feature1`和`feature2`的和。

### 2.2 模型构建和初始化

**2.2.1 模型架构设计和选择**

PyTorch提供了各种预定义的模型架构，如：

- **线性回归：**`torch.nn.Linear`
- **卷积神经网络：**`torch.nn.Conv2d`
- **循环神经网络：**`torch.nn.LSTM`

代码块：

import torch.nn as nn

# 线性回归模型
model = nn.Linear(in_features=10, out_features=1)

# 卷积神经网络模型
model = nn.Sequential(
    nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3),
    nn.ReLU(),
    nn.MaxPool2d(kernel_