【进阶篇】数据处理中的缺失值处理策略与方法

# 2.1 缺失值产生的原因和类型

缺失值产生于数据收集、处理和存储的各个阶段，其原因主要分为两种类型：

### 2.1.1 随机缺失

随机缺失是指由于不可预见的事件或偶然因素导致的数据缺失，例如：

- **调查问卷中未答复的选项：**受访者可能由于时间限制、理解困难或其他原因而未回答某些问题。
- **传感器故障：**用于收集数据的传感器可能出现故障或损坏，导致数据缺失。

### 2.1.2 系统缺失

系统缺失是指由于数据收集或处理过程中的系统性问题导致的数据缺失，例如：

- **数据清理过程中错误：**在数据清理过程中，由于错误的过滤或转换操作，可能导致部分数据被删除或替换为缺失值。
- **数据库约束：**数据库中的某些约束条件可能导致某些数据无法被插入或更新，从而产生缺失值。

# 2. 缺失值处理理论

### 2.1 缺失值产生的原因和类型

缺失值是指数据集中某些属性或变量的值缺失的情况。缺失值产生的原因有很多，可以分为以下两类：

#### 2.1.1 随机缺失

随机缺失是指由于随机因素导致的数据缺失，例如：

- **调查问卷未答题：**受访者可能因为各种原因（如时间紧迫、问题敏感等）而未回答某些问题。
- **传感器故障：**传感器可能由于故障或维护而无法记录数据。
- **数据传输错误：**数据在传输过程中可能丢失或损坏。

#### 2.1.2 系统缺失

系统缺失是指由于数据收集或处理过程中的系统性问题导致的数据缺失，例如：

- **数据收集设计缺陷：**数据收集方法或工具没有考虑到某些情况，导致特定值无法收集。
- **数据处理错误：**数据处理过程中出现错误或遗漏，导致数据丢失。
- **数据存储限制：**数据库或其他存储系统可能无法存储所有数据，导致部分数据被截断或删除。

### 2.2 缺失值处理方法

缺失值处理方法有多种，可以根据不同的情况和目标选择最合适的方法。主要的方法包括：

#### 2.2.1 删除法

删除法是最简单直接的缺失值处理方法，即将包含缺失值的样本或属性从数据集中删除。删除法适用于以下情况：

- 缺失值数量较少，对整体分析影响不大。
- 缺失值是随机产生的，不影响数据的分布和相关性。
- 删除缺失值不会导致其他变量的缺失。

#### 2.2.2 填补法

填补法是指用估计值或预测值来填充缺失值。填补法适用于以下情况：

- 缺失值数量较多，删除法会显著减少样本量。
- 缺失值是非随机产生的，可能影响数据的分布