"Datawhale从零开始数据挖掘第三次打卡，主要内容涉及特征工程，包括特征选择、数据清洗和新特征创建。"
在数据挖掘过程中，特征工程是至关重要的一步，它直接影响模型的性能和预测准确性。在这个任务中，Datawhale团队强调了几个关键的特征工程实践。
首先，进行了特征选择。通过对数据进行初步分析，团队发现特征'seller'（卖家）和'offerType'（报价类型）对于目标变量的预测几乎没有贡献，因此决定删除这两个特征。这样可以减少模型的复杂性，同时避免过拟合的风险。
其次，处理了特征之间的线性相关性。特征v_1和v_6被发现有高度的线性相关性。在机器学习中，包含高度相关的特征可能导致模型在训练时产生冗余信息，增加计算成本且可能降低泛化能力。因此，通常会选择保留其中一个特征，移除另一个。在这个例子中，未具体说明保留哪一个，但这是一个常见的做法。
接着，团队列出了数据集中所有的数字特征和类别特征。数字特征包括：'power'（功率）、'kilometer'（公里数）、以及一系列的'v_'特征，这些可能是针对特定问题定制的数值变量。类别特征则包括：'name'（名称）、'model'（型号）、'brand'（品牌）、'bodyType'（车身类型）、'fuelType'（燃料类型）、'gearbox'（变速器类型）、'notRepairedDamage'（未修复的损坏）、'regionCode'（区域代码）。这些特征通常是离散的，可能需要进行编码处理，如独热编码或标签编码，以便模型能够处理。
进一步的数据清洗操作包括将'creatDate'和'regDate'两个日期字段转换成'used_time'（使用时间），这代表了车辆从注册到出售的时间间隔。通过计算这两个日期的差值，并转换为天数，得到了一个反映车辆使用年限的新特征，这对于预测可能很有价值。
最后，从'regionCode'（区域代码）中提取出'city'（城市）信息，这引入了地理因素，增加了模型的解释力和预测能力。这种操作是利用先验知识来增强特征，有助于模型更好地理解数据的上下文。
这个任务涵盖了特征工程中的核心步骤，包括特征选择、处理线性相关性、创建新特征以及数据转换。这些步骤是数据预处理的重要组成部分，对于构建有效的数据挖掘模型至关重要。通过精心的特征工程，可以提高模型的性能，更好地理解数据，以及最终提高预测的准确性和可靠性。
我的内容管理
展开
