pytorch手写体识别使用numpy读取数据代码
时间: 2023-12-12 11:05:17 浏览: 126
下面是使用 NumPy 读取 MNIST 手写数字数据集并进行预处理的示例代码:
```python
import numpy as np
import torch
from torch.utils.data import DataLoader, TensorDataset
# 读取数据集
def load_data(path):
with open(path, 'rb') as f:
data = np.frombuffer(f.read(), np.uint8, offset=16)
return data.reshape(-1, 28*28)
# 加载数据集
train_data = load_data('mnist/train-images.idx3-ubyte')
train_labels = load_data('mnist/train-labels.idx1-ubyte')
test_data = load_data('mnist/t10k-images.idx3-ubyte')
test_labels = load_data('mnist/t10k-labels.idx1-ubyte')
# 预处理数据
train_data = train_data / 255.0
test_data = test_data / 255.0
train_data = torch.from_numpy(train_data).float()
train_labels = torch.from_numpy(train_labels).long()
test_data = torch.from_numpy(test_data).float()
test_labels = torch.from_numpy(test_labels).long()
# 构建数据集和数据加载器
train_dataset = TensorDataset(train_data, train_labels)
test_dataset = TensorDataset(test_data, test_labels)
train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)
```
在这个示例代码中,我们首先定义了一个 `load_data` 函数,用于读取 MNIST 数据集文件,并将数据转换为 NumPy 数组形式。然后,我们将数据集进行预处理,包括归一化和转换为 PyTorch 的 Tensor 对象。最后,我们使用 PyTorch 的 `TensorDataset` 和 `DataLoader` 类构建了训练集和测试集的数据集和数据加载器,方便后续进行模型训练和测试。
阅读全文