torch中如何把多个批次的数据集合并

在PyTorch中，如果你有两个或更多的数据集（通常是以`torch.utils.data.Dataset`的形式），想要将它们合并成一个大的数据集，你可以考虑创建一个自定义的`Dataset`子类，然后在`__len__`和`__getitem__`方法中处理合并的过程。

首先，你需要定义一个新的`Dataset`子类，比如叫`CombinedDataset`：

class CombinedDataset(torch.utils.data.Dataset):
    def __init__(self, datasets):
        self.datasets = datasets
        self.lengths = [len(dataset) for dataset in datasets]

    def __len__(self):
        return sum(self.lengths)

    def __getitem__(self, idx):
        # 根据索引找到每个数据集中对应的位置
        offset = 0
        for i, length in enumerate(self.lengths):
            if idx < offset + length:
                current_dataset_idx = idx - offset
                item = self.datasets[i][current_dataset_idx]
                break
            else:
                offset += length

        return item

在这个例子中，`datasets`是一个包含所有小数据集的列表。`__len__`方法返回总元素数，`__getitem__`方法根据索引从各个数据集中获取相应位置的数据。

现在你可以像这样使用这个新的`CombinedDataset`：

dataset1 = MyCustomDataset(...)
dataset2 = AnotherCustomDataset(...)

combined_dataset = CombinedDataset([dataset1, dataset2])

# 然后你可以通过DataLoader加载它
dataloader = torch.utils.data.DataLoader(combined_dataset, batch_size=32)