f = open("data3.txt","r",encoding='GBK') fo = open("out.txt","w",encoding='GBK') txt = f.readlines() lt = [] for line in txt: lc = line.strip(" \n").split("。") for c in lc: ls = c.split("，") lt.append(ls) for t in lt: for m in t: if "我们" in m: fo.write(m) fo.write("\n") fo.close()这个方法的结果和这个的结果有什么区别import jieba import re dict_words = {} with open('data3.txt', 'r', encoding='GBK') as f: senses = re.sub('([，。\n])', '|' , f.read()) k = jieba.cut(senses) for i in k: if len(i) >= 2: dict_words[i] = dict_words.get(i, 0) + 1 data = sorted(dict_words.items(), key=lambda x:x[1], reverse=True) with open('out.txt', 'w') as f: for sense in senses.split('|'): if data[0][0] in sense: f.write(sense+ '\n')

这两个方法的结果略有不同。

第一个方法会读入整个文件，并将每行按照句号和逗号分割成多个子句，然后将每个子句按照逗号再分割成多个短语。对于每个短语，如果包含“我们”，就写入到输出文件中。

第二个方法使用了分词工具jieba将整个文件分成了一个个词语，然后遍历词语，统计每个词语出现的次数。然后将所有词语按照出现次数排序，找到出现次数最多的词语（即data[0][0]），然后遍历每个子句，如果包含该词语，则写入到输出文件中。

相比之下，第二个方法更细致和全面。它不仅统计了“我们”这个短语的出现次数，还统计了所有词语的出现次数，并找到了最常出现的词语，然后利用这个信息遍历每个子句，找到所有包含该词语的子句并写入输出文件中。因此，第二个方法的结果更全面，涵盖了“我们”这个短语以外的所有词语。

相关问题

def format(path='./toutiao_cat_data.txt'): np.random.seed(2021) raw_data = open(path, 'r', encoding='utf-8').readlines() num_samples = len(raw_data) idx = np.random.permutation(num_samples) num_train, num_val = int(0.7 * num_samples), int(0.2 * num_samples) num_test = num_samples - num_train - num_val train_idx, val_idx, test_idx = idx[:num_train], idx[num_train:num_train + num_val], idx[-num_test:] f_train = open('./train.txt', 'w', encoding='utf-8') f_val = open('./val.txt', 'w', encoding='utf-8') f_test = open('./test.txt', 'w', encoding='utf-8') for i in train_idx: r = raw_data[i].strip('\n').split('_!_') label, text = label_map[r[1]], r[3] f_train.write(text + '_!_' + label + '\n') f_train.close()

这段代码是用来格式化数据的。它从指定的文件中读取原始数据，并将其分割为训练集、验证集和测试集。然后，它将每个样本的标签和文本写入对应的文件中。

首先，使用np.random.seed(2021)设置随机种子，以确保每次运行代码时都得到相同的随机结果。

然后，打开指定路径的文件并读取所有行的内容，存储在raw_data列表中。

接下来，计算样本数量，并使用np.random.permutation函数生成一个长度为num_samples的随机排列的索引数组idx。

然后，根据训练集、验证集和测试集的比例，计算出各个集合的样本数量。

接着，使用切片操作将idx数组分割成训练集、验证集和测试集的索引数组train_idx、val_idx和test_idx。

接下来，分别打开train.txt、val.txt和test.txt文件，并使用'w'模式打开，这将清空文件内容，并以utf-8编码写入。

最后，使用循环遍历train_idx数组中的索引，获取对应的原始数据的标签和文本，并将其写入f_train文件中。

最后一行代码关闭了f_train文件。

这段代码的目的是将原始数据按照一定比例划分为训练集、验证集和测试集，并将每个样本的标签和文本写入对应的文件中。

针对这段代码的自定义函数进行优化import jieba #使用 Python 的 Counter 类来统计每个情感词在文本中出现的次数，避免手动计数。 from collections import Counter #将情感词典 poss 和 negs 转换成 set 类型，这样可以更快地进行查找操作,提高代码的效率。 with open('data/dict/positive.txt', encoding='gbk') as f: poss = set(f.read().split()) with open('data/dict/negative.txt', encoding='gbk') as f: negs = set(f.read().split()) def senti(text): pos_num = 0 neg_num = 0 words = jieba.lcut(text) counter = Counter(words) for word in counter: if word in poss: pos_num += counter[word] if word in negs: neg_num += counter[word] return {"pos": pos_num, "neg": neg_num} file = 'data/txts/联美控股2017.txt' text = open(file, encoding='gbk').read() senti(text)

这段代码对原始代码进行了优化，主要包括以下几点：

1. 使用Python的Counter类来统计每个情感词在文本中出现的次数，避免了手动计数的操作，提高了代码的效率。

2. 将情感词典poss和negs转换成set类型，这样可以更快地进行查找操作，也提高了代码的效率。

3. 原始代码中使用了一个degree变量来存储程度副词及其对应的权重值，但这个变量并没有在代码中使用到。因此，在优化后的代码中去掉了这个变量。

通过以上的优化，代码更加简洁、高效，同时也提高了代码的可读性。