PYTHON NLTK

Python Natural Language Toolkit (NLTK) 是一个广泛使用的开源库，专用于自然语言处理任务。它提供了一套全面的工具和资源，涵盖了文本预处理、标记化、分词、词性标注、语法分析、语义分析以及构建简单的机器学习模型等基础到高级的功能。NLTK不仅是库，更像是一个生态系统，允许开发者扩展其功能以适应特定的NLP项目[^1]。

要开始使用NLTK，首先需要安装库，可以通过pip命令来完成：

pip install nltk

一旦安装好，你可以导入并探索其核心模块，如`nltk.corpus`用于加载内置语料库，`nltk.tokenize`处理文本分割。下面是一个简单的示例，展示如何计算文本中单词的频率：

import nltk
from nltk.corpus import stopwords
from collections import Counter

# 加载停用词
stop_words = set(stopwords.words('english'))

# 示例文本
text = "This is a sample sentence to demonstrate NLTK in action."

# 分词和去除停用词
tokens = [word.lower() for word in nltk.word_tokenize(text) if word.lower() not in stop_words]

# 计算词频
word_freq = Counter(tokens)
print(word_freq.most_common(5))