python 中 DataLoader()
时间: 2024-02-17 09:04:16 浏览: 118
`torch.utils.data.DataLoader` 是 PyTorch 中用于加载数据的工具,它能够方便地对数据进行批量处理、并行加载以及打乱顺序等操作。
通常,我们将数据集封装为 `torch.utils.data.Dataset` 的子类,然后使用 `DataLoader` 加载数据集。在使用 `DataLoader` 时,我们可以指定批量大小、是否打乱数据等参数。
以下是一个使用 `DataLoader` 加载数据集的示例:
``` python
from torch.utils.data import DataLoader
from my_dataset import MyDataset
# 创建数据集
my_dataset = MyDataset()
# 创建数据加载器
batch_size = 32
shuffle = True
num_workers = 4
data_loader = DataLoader(dataset=my_dataset, batch_size=batch_size, shuffle=shuffle, num_workers=num_workers)
# 遍历数据集
for batch_idx, (data, target) in enumerate(data_loader):
# 处理数据
pass
```
在上面的示例中,我们首先创建了一个 `MyDataset` 数据集,然后使用 `DataLoader` 加载数据集。其中,`batch_size` 指定批量大小,`shuffle` 指定是否打乱数据,`num_workers` 指定使用多少个进程来加载数据。最后,我们使用 `enumerate` 函数遍历数据集,并在每个批次中处理数据。
阅读全文
相关推荐
![pdf](https://img-home.csdnimg.cn/images/20241231044930.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![gz](https://img-home.csdnimg.cn/images/20210720083447.png)
![gz](https://img-home.csdnimg.cn/images/20210720083447.png)
![-](https://img-home.csdnimg.cn/images/20210720083447.png)
![-](https://img-home.csdnimg.cn/images/20210720083447.png)