字典实验 ----英文词频统计器,改为编写函数
时间: 2024-11-12 17:38:07 浏览: 9
cpp代码-语料字典1
在Python中,你可以创建一个函数来实现英文词频统计。这个函数通常会接收一段文本作为输入,然后通过分割、去停用词、计数等步骤来计算每个单词的频率。以下是一个简单的示例:
```python
def word_frequency(text):
import re
from collections import Counter
# 将文本转换为小写并分割成单词列表
words = re.findall(r'\b\w+\b', text.lower())
# 使用Counter计算词频,并去除停用词(这里假设有一个预定义的停用词列表)
stopwords = ['the', 'is', 'and'] # 这里只列出几个常用例子,实际应用可能需要更完整的停用词库
filtered_words = [word for word in words if word not in stopwords]
# 统计词频
frequency_dict = Counter(filtered_words)
return frequency_dict
# 测试函数
text = "This is a sample sentence to demonstrate word frequency. The words will be counted and the most frequent ones will be displayed."
freq_result = word_frequency(text)
print(freq_result) # 输出每个单词及其出现次数
阅读全文