pytorch读取多个数据集

在PyTorch中，读取多个数据集通常涉及到文件系统操作、数据预处理以及数据加载器的使用。以下是一个基本步骤：

1. **导入所需库**：
首先，你需要导入`torch.utils.data`下的数据集处理模块，如`DataLoader`，以及可能需要的其他像`os`, `glob`等用于遍历文件和目录。

import torch
from torch.utils.data import Dataset, DataLoader
import os
import glob

2. **定义数据集类**：
创建一个自定义的`Dataset`子类，负责加载每个数据集的数据。你可以为每个数据集创建一个独立的子类，并在类内定义加载数据的方法。

class MultiDataSet(Dataset):
    def __init__(self, datasets, transforms=None):
        self.datasets = datasets
        self.transforms = transforms

    def __len__(self):
        return sum([len(dataset) for dataset in self.datasets])

    def __getitem__(self, idx):
        # 根据索引从各个数据集中获取对应的样本
        item_idx = idx % len(self.datasets[0])
        return self.datasets[0][item_idx]

# 示例：假设有两个数据集路径'data1'和'data2'
data1_files = glob.glob('data1/*.txt')
data2_files = glob.glob('data2/*.jpg')

datasets = [CustomDataset1(data1_files), CustomDataset2(data2_files)]

3. **数据加载器**：
使用`DataLoader`函数，指定数据集、批次大小和其他选项，如随机打乱顺序等。

dataloader = DataLoader(MultiDataSet(datasets), batch_size=32, shuffle=True)

4. **训练循环**：
现在，你可以按照常规的训练流程，在`for`循环中迭代数据加载器。

for batch in dataloader:
    text_data, image_data = batch
    # ... 进行文本和图像数据的联合处理和模型训练