pycham读取自定义的大量excel表格通过重写Dataset类以及dataLoader的完整代码

在PyTorch中，如果你想要处理大量的自定义Excel表格数据并重写`torch.utils.data.Dataset`类和`DataLoader`，你需要首先安装必要的库，如`pandas`用于处理Excel文件，以及`torchvision`（虽然这不是直接处理Excel的库，但是它的`DataLoader`接口可以作为参考）。下面是一个简化的示例，说明如何操作：

import pandas as pd
import torch
from torch.utils.data import Dataset, DataLoader

# 1. 自定义Dataset类
class CustomExcelDataset(Dataset):
    def __init__(self, file_path, transform=None):
        self.data = pd.read_excel(file_path)
        self.transform = transform
        self.columns_to_load = ['column1', 'column2']  # 根据实际需要替换为你的列名

    def __len__(self):
        return len(self.data)

    def __getitem__(self, idx):
        row = self.data.iloc[idx]  # 读取一行数据
        sample = {col: torch.tensor(row[col].values, dtype=torch.float) for col in self.columns_to_load}  # 转换为张量
        if self.transform:
            sample = self.transform(sample)  # 应用自定义转换
        return sample

# 2. 创建DataLoader实例
class ExcelDataLoader(DataLoader):
    def __init__(self, dataset, batch_size=32, shuffle=True, num_workers=0, *args, **kwargs):
        super().__init__(dataset, batch_size=batch_size, shuffle=shuffle, num_workers=num_workers, *args, **kwargs)

# 使用自定义类
file_path = "your_excel_file.xlsx"
transform = MyCustomTransform()  # 自定义的数据预处理函数
custom_dataset = CustomExcelDataset(file_path, transform)
dataloader = ExcelDataLoader(custom_dataset)

for data in dataloader:
    # 这里data是一个包含batch大小的小批量样本字典

在这个例子中，`CustomExcelDataset`类负责加载Excel文件，并将数据转换为张量。你可以根据需要修改列名、数据预处理等部分。`ExcelDataLoader`则是对`torch.utils.data.DataLoader`的简单封装。