readSampleData函数使用例子

假设我们要训练一个文本分类模型，我们可以通过readSampleData函数读取一个文本文件，并将其转换成模型可以处理的格式。假设我们的数据文件的格式如下：

label1,this is the first sentence
label2,this is the second sentence
label1,this is the third sentence

其中，每行的第一个字段是标签，后面是相应的文本内容。我们可以使用以下代码实现readSampleData函数：

import numpy as np

def readSampleData(file_path):
    labels = []
    texts = []
    with open(file_path, 'r') as f:
        for line in f:
            parts = line.strip().split(',')
            label = int(parts[0].replace('label',''))
            text = parts[1]
            labels.append(label)
            texts.append(text)
    # 将标签转换成one-hot编码
    num_classes = len(set(labels))
    one_hot_labels = np.zeros((len(labels), num_classes))
    for i in range(len(labels)):
        one_hot_labels[i, labels[i]-1] = 1
    return texts, one_hot_labels

在这个例子中，我们首先打开数据文件，逐行读取每个样本，将标签和文本分别存储在labels和texts列表中。然后，我们将标签转换成one-hot编码的形式，并将其存储在one_hot_labels数组中。最后，我们将texts和one_hot_labels作为函数返回值返回。

使用这个函数，我们可以将数据文件转换成模型可以使用的格式：

file_path = '/path/to/data_file.txt'
texts, one_hot_labels = readSampleData(file_path)
print(texts)
print(one_hot_labels)

输出结果：

['this is the first sentence', 'this is the second sentence', 'this is the third sentence']
[[1. 0.]
 [0. 1.]
 [1. 0.]]

这样，我们就可以将文本数据和标签数据作为模型的输入和输出，进行模型训练了。