基于pytorch写datasets加载本地数据集

首先，你需要创建一个自定义的 `Dataset` 类，并重写 `__len__` 和 `__getitem__` 方法。

下面是一个简单的例子，假设你的本地数据集是一个由文本文件组成的文件夹，每个文件包含一行文本数据：

import os
from torch.utils.data import Dataset

class MyDataset(Dataset):
    def __init__(self, data_path):
        self.data_path = data_path
        self.file_list = os.listdir(data_path)
        
    def __len__(self):
        return len(self.file_list)
    
    def __getitem__(self, idx):
        file_name = self.file_list[idx]
        file_path = os.path.join(self.data_path, file_name)
        with open(file_path, 'r', encoding='utf-8') as f:
            data = f.readline().strip()  # 假设每个文件只有一行文本数据
        return data

在这个例子中，`__init__` 方法接收一个数据集的路径，然后获取这个路径下所有的文件列表。

`__len__` 方法返回数据集的大小。

`__getitem__` 方法接收一个索引 `idx`，读取对应的文件数据并返回。

接下来，你可以使用 `DataLoader` 类将数据集加载到模型中进行训练。例如：

from torch.utils.data import DataLoader

dataset = MyDataset('data_path')
dataloader = DataLoader(dataset, batch_size=32, shuffle=True)

for batch in dataloader:
    # 处理每个batch的数据
    pass

在这个例子中，我们创建了一个 `DataLoader` 对象来加载我们的数据集。`batch_size` 指定了每个批次的大小，`shuffle` 参数表示是否打乱数据集。在训练时，我们可以使用 `for` 循环遍历数据集中的每个批次，并对该批次的数据进行处理。