【基础】Python数据探索性分析（EDA）基础

# 1. 数据探索性分析（EDA）简介**

数据探索性分析（EDA）是一种用于探索、分析和可视化数据的技术，旨在发现数据中的模式、趋势和异常值。EDA在数据科学和机器学习领域至关重要，因为它可以帮助数据科学家和机器学习工程师更好地理解数据，并为后续建模和分析提供基础。

EDA涉及广泛的技术，包括统计度量、数据可视化、数据变换和特征工程。通过使用这些技术，数据科学家可以深入了解数据，识别潜在的问题，并为后续分析做好准备。EDA的最终目标是获得对数据的深入理解，从而做出明智的决策并构建更有效的模型。

# 2. EDA的理论基础

### 2.1 数据分布与可视化

#### 2.1.1 数据分布的统计度量

数据分布描述了数据集中值出现的频率或概率。统计度量可以量化数据分布的形状、中心和离散程度。

- **均值：**数据的平均值，表示数据集中所有值的总和除以值的数量。
- **中位数：**数据集中中间的值，将数据从小到大排序后，位于中间位置的值。
- **众数：**数据集中出现频率最高的值。
- **标准差：**衡量数据离散程度的度量，表示数据与均值的平均距离。
- **方差：**标准差的平方，表示数据与均值的平均平方距离。
- **偏度：**衡量数据分布的对称性，正偏度表示分布向右倾斜，负偏度表示分布向左倾斜。
- **峰度：**衡量数据分布的集中程度，正峰度表示分布比正态分布更集中，负峰度表示分布更分散。

#### 2.1.2 数据可视化技术

数据可视化通过图表和图形将数据呈现为视觉形式，帮助识别模式、趋势和异常值。

- **直方图：**显示数据分布的频率分布，x轴表示值，y轴表示频率。
- **散点图：**显示两个变量之间的关系，x轴和y轴分别表示两个变量的值。
- **折线图：**显示数据随时间的变化，x轴表示时间，y轴表示数据值。
- **箱线图：**显示数据分布的五数概括（最小值、第一四分位数、中位数、第三四分位数、最大值）。
- **热力图：**显示两个变量之间的相关性，x轴和y轴分别表示两个变量的值，单元格颜色表示相关性强度。

### 2.2 数据变换与特征工程

#### 2.2.1 数据变换的常用方法

数据变换可以修改数据的格式或分布，以提高建模的准确性或效率。

- **对数变换：**将数据取对数，使分布更接近正态分布。
- **平方根变换：**将数据取平方根，使分布更接近对称分布。
- **标准化：**将数据转换为均值为0、标准差为1的分布。
- **归一化：**将数据转换为0到1之间的分布。
- **离散化：**将连续数据转换为离散类别。

#### 2.2.2 特征工程的原则和技巧

特征工程是创建和选择用于建模的特征的过程。

- **相关性分析：**识别与目标变