实验十 自定义Dataset 1.数据集为4种天气图片数据集dataset，需编写整个卷积神经网络程序进行图像分类。 2.使用glob函数读取数据集。 3.需要使用自定义Dataset的方法处理据集。 4.保存模型后的的参数和整个模型，需上交保存后的文件。 5.保存最优的参数。

实验十的目标是基于四种不同的天气图片数据集构建一个卷积神经网络（CNN）来进行图像分类任务。以下是实现这个任务的一些步骤：

1. **数据预处理**：首先，你可以使用Python的`glob`模块来遍历并加载所有图片文件。你需要将图片路径和对应的标签组织成列表对。

import glob
import os

data_files = glob.glob('path/to/weather_dataset/*')
labels = [os.path.basename(file).split('.')[0] for file in data_files]

2. **自定义Dataset**：为了简化数据加载过程，可以创建一个自定义的PyTorch `Dataset`子类，它负责加载数据、转换和提供批次。这通常包括`__init__`, `__len__`, 和`__getitem__`方法。

class WeatherDataset(torch.utils.data.Dataset):
    def __init__(self, files, labels):
        self.files = files
        self.labels = labels
        # 加载必要的数据预处理操作，如图像转灰度、归一化等

    def __len__(self):
        return len(self.files)

    def __getitem__(self, idx):
        img = Image.open(self.files[idx])
        # 转换和预处理步骤
        img_tensor = preprocess(img)
        label = self.labels[idx]
        return img_tensor, torch.tensor(label, dtype=torch.long)

3. **构建CNN模型**：然后你可以设计一个卷积神经网络模型，并使用`DataLoader`配合你的自定义`WeatherDataset`来训练模型。

model = create_cnn_model()
optimizer = torch.optim.Adam(model.parameters())
criterion = nn.CrossEntropyLoss()

train_loader = DataLoader(WeatherDataset(train_data, train_labels), batch_size=32)
# ... 进行训练过程 ...

4. **保存模型**：训练结束后，你可以使用`torch.save()`函数保存模型的参数和整个模型结构。例如：

torch.save(model.state_dict(), 'weather_model_params.pth')
torch.save(model, 'weather_model.pth')

5. **保存最优参数**：对于最优模型参数，可以在每个训练epoch结束时检查验证损失，如果达到最低点就保存下来。你可以使用`torch.save`并记录当前的验证指标。

best_val_loss = float('inf')
if val_loss < best_val_loss:
    best_val_loss = val_loss
    torch.save(model.state_dict(), 'best_weather_model_params.pth')