python 10 处理单词

在Python中处理单词（文本分析），通常涉及到以下几个步骤：

1. **读取文本**：首先，你需要从文件、字符串或其他数据源读取文本内容。

with open('file.txt', 'r') as file:
    text = file.read()

2. **分词**：使用`split()`函数将句子拆分成单词列表。默认情况下，它会按空格分割。

words = text.split()

3. **预处理**：这可能包括去除标点、转换成小写或大写、停用词移除等。例如，你可以使用正则表达式去掉标点：

import re
words = [re.sub(r'[^\w\s]', '', word).lower() for word in words]

4. **计数或过滤**：如果你只想统计单词出现次数，可以创建一个字典（dict）存储每个单词及其频率。

word_count = {word: words.count(word) for word in set(words)}

5. **高级处理**：如果需要更复杂的分析，如词干提取（Stemming）、词形还原（Lemmatization）或使用nltk库进行自然语言处理，那么可以引入相应的工具包。

from nltk.stem import PorterStemmer
stemmer = PorterStemmer()
words_stemmed = [stemmer.stem(word) for word in words]