使用python编写统计txt文本中词语出现频率前十的代码

可以使用Python中的Counter模块来实现统计词频的功能。以下是一个示例代码：

from collections import Counter

# 打开文本文件并读取内容
with open('file.txt', 'r') as f:
    content = f.read()

# 将文本内容分割成单词列表
words = content.split()

# 使用Counter计算每个单词出现的次数
word_counts = Counter(words)

# 获取出现频率前十的单词以及它们的频率
top_words = word_counts.most_common(10)

# 打印结果
print('出现频率前十的单词及其频率：')
for word, count in top_words:
    print(f'{word}: {count}')

在代码中，我们首先打开文本文件并读取其中的内容。然后使用split()方法将文本内容分割成单词列表。接下来，使用Counter模块计算每个单词出现的次数。最后，获取出现频率前十的单词以及它们的频率，并打印结果。

相关问题

使用python编写统计txt文本中词语出现频率前十的代码并且制作成可以显示出现次数的柱状图

好的，以下是完整的代码，包括统计单词频率和绘制柱状图的部分：

from collections import Counter
import matplotlib.pyplot as plt

# 打开文本文件并读取内容
with open('file.txt', 'r') as f:
    content = f.read()

# 将文本内容分割成单词列表
words = content.split()

# 使用Counter计算每个单词出现的次数
word_counts = Counter(words)

# 获取出现频率前十的单词以及它们的频率
top_words = word_counts.most_common(10)

# 将单词和出现次数分别存储在两个列表中
words = [word[0] for word in top_words]
counts = [word[1] for word in top_words]

# 绘制柱状图
plt.bar(words, counts)

# 设置图表标题和坐标轴标签
plt.title('出现频率前十的单词及其频率')
plt.xlabel('单词')
plt.ylabel('出现次数')

# 显示图表
plt.show()

请将其中的`file.txt`替换成你要统计的文本文件名，然后运行代码即可。该代码会先统计出现频率前十的单词及其频率，然后将其绘制成柱状图并显示出来。

用python编写一个词语逆频率方式计算加权算法 （TF-IWF）算法的完整代码。 其中TF部分的公式为：给定词ti在文本j出现的频数/文本j中所有词语的频数和; IWF部分的公式为：语料库中所有词语的频数之和/给定词ti在语料库中的总频数; TF-IWF的公式为：TF×IWF 要求：输入输出标注清楚；输入为已分词后的txt文档，输出结果为排序后的词语及TF-IWF值，输出形式为txt文档；标注详细清晰；以注释形式描述所使用的公式。

以下是使用Python实现TF-IWF算法的完整代码，注释中解释了所使用的公式。

import os
import math

# 读取文本文件并分词，返回分词后的文本列表
def read_file(filename):
    with open(filename, 'r', encoding='utf-8') as f:
        text = f.read()
    words = text.split()
    return words

# 计算词语在文本中的频数
def word_frequency(word, words):
    return words.count(word)

# 计算文本中所有词语的频数和
def total_word_frequency(words):
    return len(words)

# 计算语料库中给定词语的总频数
def corpus_word_frequency(word, corpus):
    frequency = 0
    for words in corpus:
        frequency += words.count(word)
    return frequency

# 计算语料库中所有词语的总频数
def total_corpus_frequency(corpus):
    frequency = 0
    for words in corpus:
        frequency += len(words)
    return frequency

# 计算TF-IWF值
def tf_iwf(word, words, corpus):
    tf = word_frequency(word, words) / total_word_frequency(words)
    iwf = total_corpus_frequency(corpus) / corpus_word_frequency(word, corpus)
    return tf * math.log(iwf)

# 对文本中所有词语计算TF-IWF值并排序，返回排序后的词语列表
def sort_words(words, corpus):
    word_scores = [(word, tf_iwf(word, words, corpus)) for word in set(words)]
    word_scores = sorted(word_scores, key=lambda x: x[1], reverse=True)
    return word_scores

# 输入文件名和语料库文件夹名，输出结果到同名txt文件
def output_result(filename, corpus_folder):
    words = read_file(filename)
    corpus = [read_file(os.path.join(corpus_folder, f)) for f in os.listdir(corpus_folder) if f.endswith('.txt')]
    sorted_words = sort_words(words, corpus)
    output_filename = os.path.splitext(filename)[0] + '_tf_iwf.txt'
    with open(output_filename, 'w', encoding='utf-8') as f:
        for word, score in sorted_words:
            f.write(f'{word}\t{score}\n')

# 示例输入
output_result('example.txt', 'corpus')

其中输入文件名为`example.txt`，语料库文件夹名为`corpus`，输出结果会被写入同名的`example_tf_iwf.txt`文件中。

输出文件中每行包含一个词语和其对应的TF-IWF值，用制表符`\t`分隔。