pytorch定义一个适用于多进程的dataloader

可以按照以下步骤定义一个适用于多进程的dataloader：

1. 首先，需要导入PyTorch的DataLoader和Dataset模块以及multiprocessing模块：

import torch
from torch.utils.data import DataLoader, Dataset
import multiprocessing

2. 接下来，定义一个自定义的Dataset类，继承自PyTorch的Dataset类，并实现__len__和__getitem__函数：

class CustomDataset(Dataset):
    def __init__(self, data):
        self.data = data

    def __len__(self):
        return len(self.data)

    def __getitem__(self, index):
        return self.data[index]

3. 然后，定义一个函数，用于返回一个DataLoader对象，其中设置num_workers参数为multiprocessing.cpu_count()，即CPU核数：

def get_dataloader(data, batch_size):
    dataset = CustomDataset(data)
    dataloader = DataLoader(dataset, batch_size=batch_size, shuffle=True, num_workers=multiprocessing.cpu_count())
    return dataloader

4. 最后，调用get_dataloader函数即可获取一个适用于多进程的dataloader：

data = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
batch_size = 2
dataloader = get_dataloader(data, batch_size)

for batch in dataloader:
    print(batch)

这样就可以得到一个适用于多进程的dataloader了。