数据挖掘Task2：深入EDA数据分析

"DataWhale数据挖掘学习任务2主要涵盖了数据加载、数据概况查看、缺失值、异常值和重复值的检测，以及预测值分布、数据特征分析等多个方面，旨在进行深入的数据探索分析(EDA)。这个任务适用于大数据和数据分析的学习者，帮助他们更好地理解和处理数据，为后续的数据挖掘工作打下基础。" 在数据挖掘学习中，EDA是至关重要的一步，它允许我们了解数据的特性、发现潜在模式和异常，并为模型构建提供有价值的见解。以下是该任务中涉及的知识点详解： 1. **数据加载**：使用`pandas`库中的`read_csv()`函数读取CSV文件，创建DataFrame对象，如`Train_data = pd.read_csv(path+"used_car_train_20200313.csv")`。 2. **查看数据概况**：利用`head()`函数查看数据集的前几行，`describe()`函数则提供统计摘要，包括计数、平均值、标准差、最小值、四分位数和最大值。 3. **检测缺失值**： - **判断**：使用`isnull()`和`sum()`函数组合，找出各列的缺失值数量。 - **可视化**：通过`missingno`库，可以绘制矩阵图和条形图来直观展示缺失值分布。 4. **异常值检测**：异常值通常用统计方法如Z-Score、IQR法则（四分位距法）来识别，这里提到的是“倾斜值检测”，可能指的是利用数据的偏斜程度来寻找异常值。 5. **查看预测值分布**： - **Skewness**（偏度）衡量数据分布的不对称程度，正偏度表示右尾较长，负偏度表示左尾较长。 - **Kurtosis**（峰度）反映数据分布的尖峰程度，高峰度表示数据集中在均值附近，低峰度表示数据分布更平坦。 - **频数**：计算预测值出现的次数，了解其分布情况。 6. **数据特征分析**： - **数字特征分析**： - **相关性分析**：使用`corr()`函数计算特征间的相关系数，可视化可借助`seaborn`的heatmap。 - **偏度和峰值**：通过`skew()`和`kurtosis()`函数计算并理解特征的统计特性。 - **分布可视化**：使用直方图、核密度图等展示特征分布。 - **关系可视化**：散点图、双变量核密度图、线性回归图等揭示变量间的关系。 - **类型特征分析**： - **unique分析**：检查类别特征的唯一值数量。 - **箱型图**：展示特征的四分位数，便于识别异常值。 - **小提琴图**：结合了箱型图和核密度图，呈现连续变量在不同类别下的分布。 - **柱形图**：对比不同类别下的频数。 7. **生成数据报告**：汇总以上分析结果，形成清晰的报告，用于交流和决策。 在实践中，使用这些工具和方法可以深入了解数据集，识别潜在问题，预处理数据，并为模型选择和参数调整提供依据。在数据挖掘过程中，理解数据是成功的关键，因此，掌握有效的EDA技巧对于提升模型性能至关重要。