for line in tqdm(f): lin = line.strip() if not lin: continue content, label = lin.split('\t') words_line = [] token = tokenizer(content) seq_len = len(token) if pad_size: if len(token) < pad_size: token.extend([PAD] * (pad_size - len(token))) else: token = token[:pad_size] seq_len = pad_size # word to id for word in token: words_line.append(vocab.get(word, vocab.get(UNK))) contents.append((words_line, int(label), seq_len))

这段代码是用来将文本内容转换为模型可以处理的格式，即将文本内容转换为 id 的形式，并将其存储到列表中。代码首先使用 `tokenizer` 将文本内容转换为词语列表，然后使用 `vocab` 将每个词语转换为对应的 id。如果 `pad_size` 不为 None，则对词语列表进行 padding，使其长度为 `pad_size`。最后将处理好的数据以元组形式添加到 `contents` 列表中。其中，`words_line` 是一个列表，用于存储文本内容中每个词语的 id；`seq_len` 是文本内容的长度，即词语列表的长度。整个代码的作用是将处理好的数据以元组形式添加到 `contents` 列表中，其中每个元组都包含了文本内容的 id 列表、标签和文本内容的长度。