如何使用CountVectorizer？

CountVectorizer是Python中的sklearn库（scikit-learn）中用于文本数据预处理的一个工具，主要用于将文本数据转换为数值特征矩阵。它的工作原理主要是统计文本中每个单词（或称为术语）出现的次数，形成文档-术语矩阵（Term Document Matrix）。以下是使用CountVectorizer的基本步骤：

1. **导入模块**:

   from sklearn.feature_extraction.text import CountVectorizer

2. **初始化CountVectorizer对象**:

   vectorizer = CountVectorizer()

3. **准备文本数据**:
确保你的文本数据是以列表的形式存在，每个元素代表一个文档（字符串）。

4. **转换文本数据**:

   X = vectorizer.fit_transform(text_data)

`fit_transform()`方法会在训练集中学习词汇表并将文本转换为数值表示。

5. **查看词汇表（停用词、未知词处理）**:

   vocabulary = vectorizer.get_feature_names_out()

可以通过这个词汇表了解生成的特征名。

6. **选择是否忽略停用词和数字**:

   vectorizer = CountVectorizer(stop_words='english') # 英文停用词

7. **保存和加载模型**:

   vectorizer.save("vectorizer.pkl")
   loaded_vectorizer = CountVectorizer().load("vectorizer.pkl")