python词频统计求平均值代码
时间: 2024-03-21 10:36:15 浏览: 95
当你需要对文本进行词频统计并求平均值时,可以使用Python中的collections模块和numpy库来实现。下面是一个示例代码:
```python
import collections
import numpy as np
def word_frequency(text):
# 将文本转换为小写并分割成单词列表
words = text.lower().split()
# 使用collections模块中的Counter函数统计词频
word_counts = collections.Counter(words)
return word_counts
def average_word_frequency(text):
# 统计词频
word_counts = word_frequency(text)
# 提取词频值
frequencies = list(word_counts.values())
# 使用numpy库计算平均值
average_frequency = np.mean(frequencies)
return average_frequency
# 示例文本
text = "This is a sample text. It contains some words that will be used for word frequency calculation."
# 调用函数计算平均词频
average_freq = average_word_frequency(text)
print("Average word frequency:", average_freq)
```
这段代码首先定义了两个函数,`word_frequency`用于统计词频,`average_word_frequency`用于计算平均词频。在`word_frequency`函数中,我们将文本转换为小写并使用`split`方法将其分割成单词列表。然后使用`collections.Counter`函数统计每个单词的出现次数。
在`average_word_frequency`函数中,我们调用`word_frequency`函数获取词频统计结果,并提取词频值。然后使用`numpy.mean`函数计算词频的平均值。
最后,我们提供了一个示例文本,并调用`average_word_frequency`函数计算平均词频。结果将打印出来。
阅读全文