def load_dataset(path, pad_size=32): contents = [] with open(path, 'r', encoding='UTF-8') as f: for line in tqdm(f): lin = line.strip() if not lin: continue content, label = lin.split('\t') words_line = [] token = tokenizer(content) seq_len = len(token) if pad_size: if len(token) < pad_size: token.extend([PAD] * (pad_size - len(token))) else: token = token[:pad_size] seq_len = pad_size # word to id for word in token: words_line.append(vocab.get(word, vocab.get(UNK))) contents.append((words_line, int(label), seq_len)) return contents # [([...], 0), ([...], 1), ...]

这段代码定义了一个函数 `load_dataset`，用于加载数据集。具体来说，函数接受两个参数：

- `path`：数据集文件的路径；
- `pad_size`：每条数据的长度，不足 `pad_size` 的将填充为 `PAD`。

函数首先定义了一个空列表 `contents`，用于存储加载的数据。然后，函数使用 Python 内置的 `open` 函数打开数据集文件，逐行读取文件内容，并将每行内容按照指定的分割符 `\t` 进行分割，得到该条数据的文本内容和标签。函数将文本内容传递给 `tokenizer` 进行分割，得到一个由单词或字组成的列表 `token`，并计算出 `token` 的长度 `seq_len`。如果 `pad_size` 大于 `0`，则将 `token` 填充为长度为 `pad_size` 的列表，不足 `pad_size` 的部分使用 `PAD` 填充；如果 `pad_size` 等于 `0`，则不进行填充操作。接着，函数将 `token` 中的每个单词或字转换为其在词表 `vocab` 中的索引，如果词表中不存在该单词或字，则使用 `UNK` 的索引进行替换。最后，函数将处理好的数据以元组 `(words_line, int(label), seq_len)` 的形式添加到 `contents` 中，并返回 `contents` 列表。在这里，`words_line` 表示将单词或字转换为索引后得到的列表，`label` 表示该条数据的标签，`seq_len` 表示该条数据的长度。

相关问题

def load_dataset(path, pad_size=32): contents = [] with open(path, 'r', encoding='UTF-8') as f: for line in tqdm(f): lin = line.strip() if not lin: continue content, label = lin.split('\t') words_line = [] token = tokenizer(content) seq_len = len(token) if pad_size: if len(token) < pad_size: token.extend([PAD] * (pad_size - len(token))) else: token = token[:pad_size] seq_len = pad_size # word to id for word in token: words_line.append(vocab.get(word, vocab.get(UNK))) contents.append((words_line, int(label), seq_len)) return contents # [([...], 0), ([...], 1), ...] train = load_dataset(config.train_path, config.pad_size) dev = load_dataset(config.dev_path, config.pad_size) test = load_dataset(config.test_path, config.pad_size) return vocab, train, dev, test

这段代码是用来加载数据集的，其中 `load_dataset` 函数是用来读取文本文件中的内容，并将其转换为模型可以处理的格式。在这个函数中，代码首先打开指定路径的文本文件，然后逐行读取其中的内容。每一行的格式为文本内容和标签，两者用制表符分隔。接着，代码使用 tokenizer 将文本内容转换为词语列表，并使用 vocab 将每个词语转换为对应的 id。如果 pad_size 不为 None，则对词语列表进行 padding，使其长度为 pad_size。最后将处理好的数据以元组形式添加到 contents 列表中，并返回 contents。函数的返回值是一个列表，其中每个元素都是一个元组，元组的第一个元素是处理好的文本内容（以 id 的形式表示），第二个元素是标签，第三个元素是文本内容的长度，即词语列表的长度。整个函数的返回值是一个元组，其中包含了词汇表 vocab 和三个列表，分别是训练集、验证集和测试集。

def build_dataset(config, ues_word): if ues_word: tokenizer = lambda x: x.split(' ') # 以空格隔开，word-level else: tokenizer = lambda x: [y for y in x] # char-level if os.path.exists(config.vocab_path): vocab = pkl.load(open(config.vocab_path, 'rb')) else: vocab = build_vocab(config.train_path, tokenizer=tokenizer, max_size=MAX_VOCAB_SIZE, min_freq=1) pkl.dump(vocab, open(config.vocab_path, 'wb')) print(f"Vocab size: {len(vocab)}") def load_dataset(path, pad_size=32): contents = [] with open(path, 'r', encoding='UTF-8') as f: for line in tqdm(f): lin = line.strip() if not lin: continue content, label = lin.split('\t') words_line = [] token = tokenizer(content) seq_len = len(token) if pad_size: if len(token) < pad_size: token.extend([PAD] * (pad_size - len(token))) else: token = token[:pad_size] seq_len = pad_size # word to id for word in token: words_line.append(vocab.get(word, vocab.get(UNK))) contents.append((words_line, int(label), seq_len)) return contents # [([...], 0), ([...], 1), ...] train = load_dataset(config.train_path, config.pad_size) dev = load_dataset(config.dev_path, config.pad_size) test = load_dataset(config.test_path, config.pad_size) return vocab, train, dev, test

这段代码定义了一个函数用于加载数据集。它的输入参数包括一个配置对象和一个布尔值，表示是否使用词级别的分词器。如果使用单词级别的分词器，就将句子按照空格分割成单词；否则，将句子分割成单个字符。如果已经存在词汇表文件，就直接加载该文件；否则，就调用之前定义的 build_vocab 函数构建词汇表，并将其保存到文件中。然后，函数分别加载训练、验证和测试数据集，并将每个样本表示成一个三元组，其中第一个元素是由单词索引构成的列表，第二个元素是标签，第三个元素是该样本的序列长度。最后，该函数返回词汇表和三个数据集。