【基础】文本特征提取方法详解：TF-IDF与词嵌入

# 2.1 TF-IDF的基本原理

TF-IDF（Term Frequency-Inverse Document Frequency）是一种广泛用于文本特征提取的统计方法。它通过计算单词在文档中的出现频率和在文档集合中出现的频率来衡量单词的重要性。

### 2.1.1 词频（TF）

词频（TF）表示一个单词在特定文档中出现的次数。它反映了单词在该文档中的重要性。TF的计算公式为：

TF(w, d) = count(w, d) / total_words_in_d

其中：

* `TF(w, d)`：单词`w`在文档`d`中的词频
* `count(w, d)`：单词`w`在文档`d`中出现的次数
* `total_words_in_d`：文档`d`中单词的总数

### 2.1.2 逆向文档频率（IDF）

逆向文档频率（IDF）表示一个单词在文档集合中出现的频率的倒数。它反映了单词在区分不同文档方面的有效性。IDF的计算公式为：

IDF(w, D) = log(total_docs / docs_with_w)

其中：

* `IDF(w, D)`：单词`w`在文档集合`D`中的IDF
* `total_docs`：文档集合`D`中文档的总数
* `docs_with_w`：包含单词`w`的文档数

# 2. TF-IDF方法

TF-IDF（Term Frequency-Inverse Document Frequency）是一种广泛用于文本特征提取的经典方法。它通过计算每个单词在特定文档和整个文档集合中的出现频率来度量单词的重要性。

### 2.1 TF-IDF的基本原理

TF-IDF方法由两个主要部分组成：

#### 2.1.1 词频（TF）

词频（TF）表示一个单词在特定文档中出现的次数。它可以反映单词在该文档中的重要性。TF的计算公式如下：

TF(t, d) = (词频(t, d)) / (总词数(d))

其中：

* `t`：单词
* `d`：文档
* `词频(t, d)`：单词`t`在文档`d`中出现的次数
* `总词数(d)`：文档`d`中的总词数

#### 2.1.2 逆向文档频率（IDF）

逆向文档频率（IDF）表示一个单词在整个文档集合中出现的普遍程度。它可以反映单词的区分度。IDF的计算公式如下：

IDF(t) = log(总文档数 / (包含单词t的文档数))

其中：

* `t`：单词
* `总文档数`：文档集合中的文档总数
* `包含单词t的文档数`：包含单词`t`的文档数

### 2.2 TF-IDF的应用场景

TF-IDF方法广泛应用于各种文本处理任务中，包括：

#### 2.2.1 文本分类

文本分类是指将文本文档分配到预定义类别的问题。TF-IDF方法可以用于提取文本中的重要特征，从而帮助分类器对文档进行准确分类。

#### 2.2.2 文档相似性计算

文档相似性计算是指计算两个文本文档之间的相似度。TF-IDF方法可以用于提取文档中的相似特征，从而帮助度量文档之间的相似性。

**示例：**

假设我们有一个文档集合，其中包含以下两篇文档：

**文档1：**

> 机器学习是一种人工智能技术，用于从数据中学习。它可以用于解决各种问题，例如图像识别、自然语言处理和预测分析。

**文档2：**

> 人工智能是一种计算机科学领域，它研究如何让计算机像人类一样思考。机器学习是人工智能的一个子领域，它允许计算机从数据中学习，而无需明确编程。

**使用TF-IDF计算：**

| 单词 | TF(文档1) | TF(文档2) | IDF | TF-IDF(文档1) | TF-IDF(文档2) |
|---|---|---|---|---|---|
| 机器学习 | 0.14 | 0.16 | 1.2 | 0.17 | 0.19 |
| 人工智能 | 0.07 | 0.16 | 1.1 | 0.08 | 0.18 |