已经获取了两个特征矩阵,分别放在txt文件中,怎么使用 torch.utils.data.TensorDataset 类和 torch.utils.data.DataLoader 类来读取两个1307×48维度特征矩阵数据,一个特征矩阵的标签是1,另一个特征矩阵的标签是0
时间: 2023-08-25 21:23:23 浏览: 143
首先,我们需要将两个特征矩阵分别读取到 NumPy 数组中,然后将它们转换为 PyTorch 张量。可以使用 numpy.loadtxt 函数将 txt 文件读取到 NumPy 数组中,然后使用 torch.from_numpy 将 NumPy 数组转换为 PyTorch 张量。接下来,将两个特征矩阵和对应的标签合并到一个 TensorDataset 中,然后使用 DataLoader 进行批量读取。
下面是一个示例代码:
```python
import numpy as np
import torch
from torch.utils.data import TensorDataset, DataLoader
# 读取特征矩阵和标签
feat1 = np.loadtxt('feat1.txt')
feat2 = np.loadtxt('feat2.txt')
label1 = np.ones(feat1.shape[0])
label2 = np.zeros(feat2.shape[0])
# 转换为 PyTorch 张量
feat1_tensor = torch.from_numpy(feat1).float()
feat2_tensor = torch.from_numpy(feat2).float()
label1_tensor = torch.from_numpy(label1).float()
label2_tensor = torch.from_numpy(label2).float()
# 合并数据集
feat_tensor = torch.cat([feat1_tensor, feat2_tensor], dim=0)
label_tensor = torch.cat([label1_tensor, label2_tensor], dim=0)
dataset = TensorDataset(feat_tensor, label_tensor)
# 定义数据加载器
batch_size = 32
loader = DataLoader(dataset, batch_size=batch_size, shuffle=True)
```
这样,我们就可以使用 loader 对数据进行批量读取,每次返回一个包含 batch_size 个数据的批次。例如,可以使用一个 for 循环来遍历数据集:
```python
for feats, labels in loader:
# 对批次中的数据进行操作
pass
```
阅读全文