决策树实验：信息增益、增益率与基尼指数对比

"该资源是西南交通大学机器学习课程的一个实验文档，主要关注决策树的学习与应用。实验旨在让学生理解并掌握决策树的构建原理，包括信息增益、增益率和基尼指数作为划分标准的选择，以及如何处理连续值和缺失值。实验要求学生使用给定的数据集，运用决策树模型进行分类，并通过比较不同划分标准（如信息增益、增益率和基尼指数）下的模型性能来评估模型的准确率。实验环境是Python编程环境，使用了numpy、matplotlib和sklearn库。提供的实验代码示例展示了如何构建决策树，其中包含了训练模型、预测、计算精度以及绘制决策树的步骤。代码分别使用基尼指数作为划分标准，尝试了最大深度为1、2、3的情况。" 实验详细解读： 1. **决策树**：决策树是一种监督学习算法，常用于分类任务。它通过学习特征之间的关系，形成一个树状结构，每个内部节点表示一个特征，每个分支代表一个特征值，而每个叶节点则对应一个类别。 2. **划分选择标准**： - **信息增益**：衡量特征选择对数据纯度的提升程度，是熵减少的量，倾向于选择具有更多信息的特征，但可能会偏向选择具有大量取值的特征。 - **增益率**：为了解决信息增益的偏好问题，将信息增益与特征值的熵进行归一化，使得特征的取值数量不再影响选择。 - **基尼指数**：度量数据集的不纯度，选择能最小化基尼指数的特征，对连续值处理友好。 3. **剪枝处理**：防止决策树过拟合，通过减少树的复杂度来提高泛化能力。常见的剪枝方法有预剪枝和后剪枝，前者在训练阶段设定阈值限制树的深度或叶节点的样本数；后者在树完全生长后再进行修剪。 4. **连续值处理**：决策树通常处理离散特征，对于连续特征，常用的方法是切分点选择，如最佳分割点、均匀分割等，将其转化为多个二值特征。 5. **缺失值处理**：可以使用平均值、中位数、众数填充，或者构建特殊的缺失值类别，还可以使用决策树的特定算法如ID3中的“不纯度增加”策略。 6. **实验代码分析**： - `train_data`和`test_data`分别加载训练集和测试集，最后的列作为标签。 - `train_x`和`train_y`，`test_x`和`test_y`分离特征和标签。 - `DT`函数中，`criterion`参数指定划分标准，`max_depth`控制决策树的最大深度。 - `clf.fit()`训练决策树模型，`predict()`进行预测，`accuracy`计算预测的准确性。 - `tree.plot_tree()`绘制决策树，`filled=True`使树的节点颜色填充，便于可视化。 7. **实验操作**：实验中通过调用`DT('gini', n)`函数，使用基尼指数作为划分标准，尝试不同最大深度（1、2、3），观察并比较模型的准确率，以理解不同设置对模型性能的影响。 通过这个实验，学生不仅能熟悉决策树的构建过程，还能深入理解不同的划分标准、参数设置如何影响模型的性能，以及如何使用Python实现决策树模型。