【进阶】自然语言处理基础：TF-IDF计算

# 2.1 TF（词频）计算

### 2.1.1 词频定义

词频（TF）衡量一个词在给定文档中出现的次数。它反映了该词在文档中出现的频率，是TF-IDF算法中最重要的因素之一。

### 2.1.2 词频计算方法

词频的计算公式为：

TF(t, d) = (词t在文档d中出现的次数) / (文档d中所有词的总数)

其中：

* `t` 是文档中出现的词
* `d` 是文档

# 2. TF-IDF算法理论

TF-IDF算法（Term Frequency-Inverse Document Frequency）是一种用于衡量文本中特定词语重要性的统计方法。它由两个主要部分组成：词频（TF）和逆文档频率（IDF）。

### 2.1 TF（词频）计算

#### 2.1.1 词频定义

词频（TF）表示特定词语在给定文档中出现的次数。它反映了该词语在文档中的重要性。

#### 2.1.2 词频计算方法

词频的计算方法如下：

def tf(word, document):
    """计算给定文档中特定词语的词频。

    Args:
        word (str): 要计算词频的词语。
        document (str): 给定文档。

    Returns:
        int: 给定文档中特定词语的词频。
    """
    return document.count(word)

例如，如果文档为 "我爱自然语言处理"，则词语 "我" 的词频为 1，词语 "自然语言处理" 的词频为 2。

### 2.2 IDF（逆文档频率）计算

#### 2.2.1 逆文档频率定义

逆文档频率（IDF）表示特定词语在整个文档集合中出现的频率。它反映了该词语的普遍性。

#### 2.2.2 逆文档频率计算方法

IDF的计算方法如下：

def idf(word, documents):
    """计算给定词语在文档集合中的逆文档频率。

    Args:
        word (str): 要计算逆文档频率的词语。
        documents (list[str]): 文档集合。

    Returns:
        float: 给定词语在文档集合中的逆文档频率。
    """
    num_documents = len(documents)
    num_documents_containing_word = 0
    for document in documents:
        if word in document:
            num_documents_containing_word += 1
    return math.log(num_documents / num_documents_containing_word)

例如，如果文档集合包含 100 个文档，其中词语 "自然语言处理" 出现于 20 个文档中，则该词语的 IDF 为 log(100 / 20) = 1.6094。

# 3. TF-IDF算法实践

### 3.1 Python实现TF-IDF计算

#### 3.1.1 安装必要的库

在开始使用Python实现TF-IDF计算之前，需要安装必要的库：

pip install scikit-learn

#### 3.1.2 代码实现

使用scikit-learn库中的`TfidfVectorizer`类可以轻松实现TF-IDF计算。代码如下：

from sklearn.feature_extraction.text import TfidfVectorizer

# 初始化TfidfVectorizer对象
vectorizer = TfidfVectorizer()

# 拟合数据
vectorizer.fit([document1, document2, ...])

# 获取TF-IDF矩阵
tfidf_matrix = vectorizer.transform([document1, document2, ...])

**代码逻辑分析：**

* `TfidfVectorizer`类初始化时，可以指定各种参数，如`stop_words`（停用词表）、`max_features`（特征数量限制）等。
* `fit`方法用于拟合数据，计算词频和逆文档频率。
* `transform`方法将文档转换为TF-IDF矩阵。

### 3.2 TF-IDF算法应用实例

#### 3.2.1 文本分类

TF-IDF算法广泛应用于文本分类任务。以下是一个使用scikit-learn库实现文本分类的示例：

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_spl