tfidf_vectorizer

TF-IDF (Term Frequency-Inverse Document Frequency) 是一种常用的文本特征提取方法，在自然语言处理和信息检索中被广泛应用，特别是在文档聚类、搜索引擎优化和机器学习模型中。`TfidfVectorizer` 是 scikit-learn 库中的一个工具类，它提供了将文本数据转换为 TF-IDF 表达式的功能。

**TF (Term Frequency):**
- 表示一个词在文档中出现的频率，即某个词语在文档中的计数除以文档总词数。

**IDF (Inverse Document Frequency):**
- 反映了词的重要性，计算公式是 log(文档总数 / 包含该词的文档数)。一个词如果在很多文档中都出现，它的 IDF 就会低，说明这个词不具有太强的区分度。

`TfidfVectorizer` 的工作流程包括：
1. **分词（Tokenization）:** 将文本分割成单词或短语。
2. **去除停用词（Stop words removal）:** 去除常见但无实际意义的词，如 "the", "is" 等。
3. **词干提取或词形还原（Stemming/Lemmatization）:** 将单词转换为其基本形式，如将 "running", "runs", "ran" 转换为 "run"。
4. **计算 TF 和 IDF 值。**
5. **生成 TF-IDF 向量: 每个文档表示为一个向量，其中每个元素对应一个词及其对应的 TF-IDF 值。

**相关问题--:**
1. TfidfVectorizer如何处理非英文文本？
2. 如何调整IDF的计算方式？
3. TfidfVectorizer支持自定义分词规则吗？