数据采集与预处理概述思维导图

数据采集与预处理是数据分析过程中的关键步骤，可以概括为以下几个核心部分：

1. **数据采集**：
- **来源多样化**：可以从各种途径获取数据，如API、数据库、网络爬虫、传感器等。
- **数据类型**：包括结构化（表格形式）、半结构化（HTML、JSON）和非结构化数据（文本、图片、视频等）。
- **数据清洗**：去除重复、错误、缺失值以及异常值。

2. **数据预处理**：
- **数据集成**：整合来自不同源的数据，可能是合并、链接或统一格式。
- **数据转换**：标准化、编码、规范化（例如日期时间格式调整），有时还包括数据类型转换。
- **特征工程**：创建新的属性或特征，如计算衍生指标，降维或编码类别变量。
- **数据规整**：对数据进行排序、分组、填充缺失值，确保一致性。

3. **数据质量控制**：
- **检查数据完整性**：确认数据是否完整无遗漏。
- **验证数据的一致性和准确性**：通过数据校验规则进行验证。

4. **可视化探索**：
- 制作初步的图表和报告，了解数据分布、趋势和关联。

5. **存储准备**：
- 数据选择（训练集、测试集、验证集）。
- 数据集划分并保存到适当的格式（如CSV、数据库或数据仓库）。

以下是简单思维导图形式的一个概览：

+----------------+
| 数据采集与预处理 |
+----------------+
| | 数据采集 |
| | - API       |
| | - 数据库     |
| | - 爬虫       |
| | - 半结构化/非结构化数据 |
+-------------------+
| 数据预处理      |
| - 数据融合        |
| - 数据转换        |
| - 特征工程        |
| - 数据清洗        |
+-------------------+
| 数据质量控制   |
| - 完整性        |
| - 一致性/准确性 |
+-------------------+
| 可视化探索      |
| - 数据洞察        |
| - 图表制作        |
+-------------------+
| 存储与组织      |
| - 数据集划分      |
| - 格式选择        |
| - 存储位置        |
+-------------------