代码实现:现有一篇300万字的1.txt文档,分析计算其tf值,去除停用词,输出结果到3.txt,并依据2.txt计算1.txt中词的idf值,最后输出tf-idf值,并按降序排列。其中2.txt有3700篇文章
时间: 2024-01-07 21:05:33 浏览: 131
tensorflow实现在函数中用tf.Print输出中间值
为了实现这个代码,我们需要进行以下步骤:
1. 读取1.txt文件,并将其内容转换为字符串
2. 将字符串转换为单词列表,并去除停用词
3. 计算每个单词在文档中的tf值
4. 读取2.txt文件,并将其内容转换为字符串
5. 将字符串转换为单词列表,并去除停用词
6. 计算每个单词在2.txt中出现的文档频率(idf值)
7. 计算每个单词的tf-idf值
8. 按照tf-idf值进行降序排列,并将结果输出到3.txt文件中
下面是实现这个代码的Python程序:
```python
import math
# 读取1.txt文件
with open('1.txt', 'r', encoding='utf-8') as f:
text = f.read()
# 将文本转换为单词列表
words = text.split()
# 去除停用词
stopwords = ['the', 'a', 'an', 'and', 'of', 'to', 'in', 'that', 'it', 'with', 'for', 'as', 'on', 'was', 'at', 'by', 'is', 'be', 'this', 'which', 'but', 'not', 'or', 'from', 'they', 'had', 'have', 'has', 'were', 'their', 'its', 'an', 'are', 'who', 'you', 'there', 'been', 'we', 'can', 'if', 'would', 'when', 'out', 'what', 'more', 'than', 'some', 'up', 'into', 'do', 'no', 'one', 'time', 'about', 'other', 'so', 'these', 'like']
words = [word for word in words if word.lower() not in stopwords]
# 计算每个单词的tf值
word_count = len(words)
tf = {}
for word in words:
tf[word] = tf.get(word, 0) + 1
for word in tf:
tf[word] = tf[word] / word_count
# 读取2.txt文件
with open('2.txt', 'r', encoding='utf-8') as f:
corpus = f.read()
# 将语料库转换为单词列表
corpus_words = corpus.split()
# 去除停用词
corpus_words = [word for word in corpus_words if word.lower() not in stopwords]
# 计算每个单词在语料库中出现的文档频率(idf值)
doc_freq = {}
for word in set(corpus_words):
doc_freq[word] = corpus_words.count(word)
for word in doc_freq:
doc_freq[word] = math.log(len(corpus_words) / doc_freq[word])
# 计算每个单词的tf-idf值
tf_idf = {}
for word in tf:
tf_idf[word] = tf[word] * doc_freq.get(word, 0)
# 按照tf-idf值进行降序排列,并将结果输出到3.txt文件中
with open('3.txt', 'w', encoding='utf-8') as f:
for word, score in sorted(tf_idf.items(), key=lambda x: x[1], reverse=True):
f.write(f'{word}: {score:.4f}\n')
```
这个程序需要在同一目录下放置1.txt和2.txt文件,并将停用词列表添加到程序中。停用词列表可以根据实际情况进行调整。程序运行完成后,将输出结果保存到3.txt文件中。
阅读全文