【进阶篇】数据探索性分析：统计描述与可视化展示

# 1. 数据探索性分析概述**

数据探索性分析（EDA）是一种数据分析方法，旨在通过对数据的初步检查和可视化，发现数据中的模式、趋势和异常值。EDA是数据分析过程中至关重要的一步，因为它可以帮助数据分析师了解数据，并为后续的深入分析提供基础。

EDA通常包括以下步骤：

* 数据收集和预处理
* 统计描述分析
* 数据可视化展示
* 假设检验和建模

通过这些步骤，EDA可以帮助数据分析师：

* 了解数据的分布和特征
* 识别异常值和数据中的潜在问题
* 生成关于数据模式和趋势的假设
* 为后续的深入分析提供指导

# 2. 统计描述分析

统计描述分析是数据探索性分析中的一项重要技术，用于对数据进行定量和定性描述，揭示其基本特征和分布规律。

### 2.1 数值型数据的描述

数值型数据是具有数值意义的数据，可以进行算术运算。其描述指标主要分为集中趋势指标和离散趋势指标。

#### 2.1.1 集中趋势指标

集中趋势指标反映了数值型数据集中分布的中心位置，常用指标包括：

- **平均值（Mean）**：所有数据的算术平均值，反映了数据的典型值。
- **中位数（Median）**：将数据从小到大排序后，居于中间位置的值，不受极端值影响。
- **众数（Mode）**：出现频率最高的值，反映了数据的集中点。

import numpy as np

data = [10, 20, 30, 40, 50, 60, 70, 80, 90, 100]

# 计算平均值
mean = np.mean(data)
print("平均值：", mean)

# 计算中位数
median = np.median(data)
print("中位数：", median)

# 计算众数
mode = np.mode(data)
print("众数：", mode)

#### 2.1.2 离散趋势指标

离散趋势指标反映了数值型数据分布的离散程度，常用指标包括：

- **范围（Range）**：最大值与最小值的差值，反映了数据的极差。
- **方差（Variance）**：数据与平均值的平方差的平均值，反映了数据的离散程度。
- **标准差（Standard Deviation）**：方差的平方根，具有与原始数据相同的单位，更易于理解。

# 计算范围
range = np.max(data) - np.min(data)
print("范围：", range)

# 计算方差
variance = np.var(data)
print("方差：", variance)

# 计算标准差
std_dev = np.std(data)
print("标准差：", std_dev)

### 2.2 分类型数据的描述

分类型数据是具有类别属性的数据，不能进行算术运算。其描述指标主要包括频数分布和相关性分析。

#### 2.2.1 频数分布

频数分布统计了分类型数据中每个类别的出现频率，反映了数据的分布情况。

import pandas as pd

data = pd.DataFrame({
    "性别": ["男", "女", "男", "女", "男", "女", "男", "女"],
    "年龄": [20, 30, 25, 28, 32, 26, 29, 31]
})

# 统计频数分布
freq_dist = data["性别"].value_counts()
print("频数分布：\n", freq_dist)

#### 2.2.2 相关性分析

相关性分析衡量了两个分类型变量之间的相关程度，常用指标包括：

- **卡方检验**：检验两个分类型变量之间是否存在关联，返回卡方统计量和p值。
- **相关系数（Cramer's V）**：反映两个分类型变量之间相关性的强度，取值范围为0到1。

# 计算卡方统计量和p值
chi_square, p_value = pd.crosstab(data["性别"], data["年龄"]).chi2_contingency()
print("卡方统计量：", chi_square)
print("p值：", p_value)

# 计算相关系数
cramer_v = pd.c