决策树学习笔记:信息增益、增益率与基尼指数
"这篇学习笔记主要介绍了决策树的基本流程、划分选择的标准,包括信息增益、增益率和基尼指数,并提及了ID3、C4.5和CART等决策树算法。" 决策树是一种广泛应用的机器学习算法,尤其在分类问题中表现出色。它的构建过程是一个递归的决策过程,主要涉及以下步骤: 1. **基本流程**: - **终止条件**:决策树的构建基于三个终止条件: - 当前节点的所有样本属于同一类别,此时将该节点标记为叶节点,类别与样本类别一致。 - 所有属性都无法再进行划分,即所有样本在同一属性上取值相同,将节点标记为叶节点,类别依据该节点样本最多类别确定。 - 节点样本集合为空,这种情况通常发生在递归过程中,将节点类别设定为父节点样本最多的类别。 2. **划分选择**: - **信息增益**:衡量划分属性效果的重要指标,熵用于度量样本集合的纯度,信息增益则表示使用某个属性划分后纯度提升的程度。ID3算法就是基于信息增益选择最佳划分属性。 - **增益率**:C4.5算法为了避免对取值多的属性偏好,引入了增益率,它是信息增益与属性固有值的比值,可以减少对大量取值属性的偏爱。 - **基尼指数**:CART决策树采用基尼指数,它衡量数据集的不纯度。选择基尼指数最小的属性作为划分标准,适用于连续和离散属性。 这些划分标准各有优缺点,信息增益简单直观,但可能过于偏向于多取值属性;增益率和基尼指数则分别针对这一问题进行了修正,但可能会过度倾向于少数取值的属性。在实际应用中,根据数据特性和问题需求选择合适的划分策略至关重要。 通过不断选择最优属性进行划分,决策树逐步构造出一个能够模拟决策过程的树形结构。在预测阶段,新的数据点沿着树路径向下移动,到达的叶节点对应的类别即为预测结果。决策树算法的优点在于易于理解,解释性强,同时在一定程度上能够处理缺失值和非线性关系。然而,它们也容易过拟合,对于训练数据中的噪声和异常敏感,可以通过剪枝等方式来改善模型的泛化能力。
![](https://csdnimg.cn/release/download_crawler_static/86285028/bg1.jpg)
下载后可阅读完整内容,剩余4页未读,立即下载
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://profile-avatar.csdnimg.cn/21ae62be29bc4890a6eec52865498801_weixin_35825858.jpg!1)
- 粉丝: 37
- 资源: 301
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![](https://csdnimg.cn/release/wenkucmsfe/public/img/voice.245cc511.png)
最新资源
- Hadoop生态系统与MapReduce详解
- MDS系列三相整流桥模块技术规格与特性
- MFC编程:指针与句柄获取全面解析
- LM06:多模4G高速数据模块,支持GSM至TD-LTE
- 使用Gradle与Nexus构建私有仓库
- JAVA编程规范指南:命名规则与文件样式
- EMC VNX5500 存储系统日常维护指南
- 大数据驱动的互联网用户体验深度管理策略
- 改进型Booth算法:32位浮点阵列乘法器的高速设计与算法比较
- H3CNE网络认证重点知识整理
- Linux环境下MongoDB的详细安装教程
- 压缩文法的等价变换与多余规则删除
- BRMS入门指南:JBOSS安装与基础操作详解
- Win7环境下Android开发环境配置全攻略
- SHT10 C语言程序与LCD1602显示实例及精度校准
- 反垃圾邮件技术:现状与前景
![](https://img-home.csdnimg.cn/images/20220527035711.png)
![](https://img-home.csdnimg.cn/images/20220527035111.png)
![](https://csdnimg.cn/release/wenkucmsfe/public/img/green-success.6a4acb44.png)