文本词频统计的Python代码

文本词频统计是自然语言处理中的一项基础任务，Python中有许多库可以帮助我们轻松完成这项工作，比如`collections`和`nltk`库。下面是一个简单的例子，使用`collections`库中的`Counter`来统计词频：

from collections import Counter
import re

# 假设这是你的文本字符串
text = "This is a sample text. It contains several words that will be counted. Sample text is used for demonstration purposes."

# 首先，我们需要将文本转换为小写并移除标点符号
text = re.sub(r'[^\w\s]', '', text.lower())

# 使用split函数按空格分割单词
words = text.split()

# 使用Counter计算词频
word_counts = Counter(words)

# 打印最常见的10个单词及其频率
most_common_words = word_counts.most_common(10)
for word, freq in most_common_words:
    print(f"{word}: {freq}")