def format(path='./toutiao_cat_data.txt'): np.random.seed(2021) raw_data = open(path, 'r', encoding='utf-8').readlines() num_samples = len(raw_data) idx = np.random.permutation(num_samples) num_train, num_val = int(0.7 * num_samples), int(0.2 * num_samples) num_test = num_samples - num_train - num_val train_idx, val_idx, test_idx = idx[:num_train], idx[num_train:num_train + num_val], idx[-num_test:] f_train = open('./train.txt', 'w', encoding='utf-8') f_val = open('./val.txt', 'w', encoding='utf-8') f_test = open('./test.txt', 'w', encoding='utf-8') for i in train_idx: r = raw_data[i].strip('\n').split('_!_') label, text = label_map[r[1]], r[3] f_train.write(text + '_!_' + label + '\n') f_train.close()

这段代码是用来格式化数据的。它从指定的文件中读取原始数据，并将其分割为训练集、验证集和测试集。然后，它将每个样本的标签和文本写入对应的文件中。

首先，使用np.random.seed(2021)设置随机种子，以确保每次运行代码时都得到相同的随机结果。

然后，打开指定路径的文件并读取所有行的内容，存储在raw_data列表中。

接下来，计算样本数量，并使用np.random.permutation函数生成一个长度为num_samples的随机排列的索引数组idx。

然后，根据训练集、验证集和测试集的比例，计算出各个集合的样本数量。

接着，使用切片操作将idx数组分割成训练集、验证集和测试集的索引数组train_idx、val_idx和test_idx。

接下来，分别打开train.txt、val.txt和test.txt文件，并使用'w'模式打开，这将清空文件内容，并以utf-8编码写入。

最后，使用循环遍历train_idx数组中的索引，获取对应的原始数据的标签和文本，并将其写入f_train文件中。

最后一行代码关闭了f_train文件。

这段代码的目的是将原始数据按照一定比例划分为训练集、验证集和测试集，并将每个样本的标签和文本写入对应的文件中。

相关问题

toutiao_sdk_7198864562614065957@ad.toutiao_sdk.win.163.com

toutiao_sdk_7198864562614065957@ad.toutiao_sdk.win.163.com是一个电子邮件地址。这个地址中的“toutiao_sdk”代表了今日头条的软件开发工具包（SDK），而“7198864562614065957”是该SDK的编码标识。而“ad.toutiao_sdk.win.163.com”则是邮箱服务器的地址。163.com是中国的一家知名互联网公司网易的子公司，提供了免费的电子邮件服务。通过这个邮箱地址，可以进行与SDK相关的工作沟通、消息传递等。如果您需要与SDK开发人员交流、提出问题或申请访问权限等，可以使用这个邮箱地址进行联系。邮件地址中的@符号前面部分是用户名，@符号后面是域名，表明了该邮箱所属的企业或组织。

# 获取今日头条新闻 toutiao_url = f'https://so.toutiao.com/search?dvpf=pc&source=pagination&keyword={urllib.parse.quote(keyword)}&pd=information&action_type=pagination&page_num=0&from=news' response = requests.get(toutiao_url, headers=headers) response.encoding = 'utf-8' soup = BeautifulSoup(response.text, 'html.parser') toutiao_news_items = soup.select('.search-item') # 注意：请根据实际的HTML结构修改这里的选择器 news_list = [] for item in sina_news_items + toutiao_news_items: title_element = item.select_one('.r-info a') # 注意：请根据实际的HTML结构修改这里的选择器 link_element = item.select_one('.r-info a') # 注意：请根据实际的HTML结构修改这里的选择器 date_element = item.select_one('.fgray_time') # 注意：请根据实际的HTML结构修改这里的选择器

这段代码是用来获取今日头条新闻的，使用了requests库发送请求，并用BeautifulSoup库对返回的HTML进行解析。其中，toutiao_url是请求的URL，其中的keyword参数是搜索的关键词。soup.select方法用来选取HTML中符合指定CSS选择器的元素，返回的是一个列表，遍历这个列表即可获取每一条新闻的标题、链接和日期，并将其组成一个字典添加到news_list列表中。需要注意的是，选择器的具体内容需要根据实际的HTML结构进行修改。