tfidf_matrix

TF-IDF（Term Frequency-Inverse Document Frequency）矩阵是一种常用的文本表示技术，在自然语言处理和信息检索中用于衡量一个词语对于一个文档集合的重要性。它结合了一个词在文档中出现的频率（Term Frequency，TF）与该词在整个文档集合中出现的频率的倒数（Inverse Document Frequency，IDF）。

创建TF-IDF矩阵通常涉及到以下步骤：

1. **计算词频（Term Frequency, TF）**：对每个文档，计算每个单词出现的次数，这给出了每个单词在文档内的权重。

2. **计算逆文档频率（Inverse Document Frequency, IDF）**：IDF是通过对文档总数取对数并减去某个单词在所有文档中出现的文档数得到的。目的是降低常用词（如冠词）的重要性，因为它们不具有很好的区分性。

3. **组合TF和IDF**：将TF和IDF相乘，得到每个单词在文档中的TF-IDF值。这样，高频但在较少文档中出现的词会被赋予更高的权重。

4. **构建矩阵**：将这些TF-IDF值组成一个矩阵，其中每一行代表一个文档，每一列代表一个词。

在Python中，`sklearn`库中的`TfidfVectorizer`类可以方便地生成TF-IDF矩阵。例如：

from sklearn.feature_extraction.text import TfidfVectorizer

# 假设我们有文档数据
docs = ["doc1", "doc2 contains some words doc1 does not have", "doc3", "doc1 has doc2's words"]

# 创建TfidfVectorizer实例
vectorizer = TfidfVectorizer()

# 计算TF-IDF矩阵
tfidf_matrix = vectorizer.fit_transform(docs)

# 矩阵形状会显示文档数量和特征数量（这里即词的数量）
print(tfidf_matrix.shape)