实现基于信息增益率(C4.5)的决策树算法,并为表4.3中数据 生成一颗决策树
时间: 2024-06-12 12:09:34 浏览: 8
对于表4.3中的数据,我们可以按照以下步骤构建C4.5决策树:
1. 计算每个特征的信息增益率,选择信息增益率最大的特征作为根节点。
2. 根据根节点特征的取值将样本分成多个子集,对每个子集递归进行1-2步骤,直到将样本分成单一类别为止。
具体地,我们可以按照如下步骤来计算每个特征的信息增益率:
1. 计算数据集的经验熵(即所有样本属于不同类别的概率之和的负对数)。
2. 对于每个特征 $A_i$,计算其可能取值 $a_{i1}, ..., a_{im}$ 所对应的样本子集 $D_{a_{i1}}, ..., D_{a_{im}}$,并计算它们的权重 $w_1, ..., w_m$(即对应的样本个数占总样本数的比例)。
3. 计算特征 $A_i$ 对数据集的经验条件熵(即按照特征 $A_i$ 进行划分后各个子集的经验熵加权和),即:$$ H(D|A_i) = \sum_{j=1}^m w_j H(D_{a_{ij}}) $$
4. 计算信息增益(即按照特征 $A_i$ 进行划分后,数据集的经验熵减去经验条件熵),即:$$ \mathrm{Gain}(D, A_i) = H(D) - H(D|A_i) $$
5. 计算特征 $A_i$ 对数据集的固有值(即特征 $A_i$ 可以提供的信息量的大小),即:$$ \mathrm{IV}(A_i) = -\sum_{j=1}^m w_j \log_2 w_j $$
6. 计算信息增益率,即信息增益除以固有值:$$ \mathrm{GainRatio}(D, A_i) = \frac{\mathrm{Gain}(D, A_i)}{\mathrm{IV}(A_i)} $$
根据上述步骤,我们可以得到表4.3数据的决策树如下:
```
outlook:
| sunny: no
| overcast: yes
| rainy:
| | wind:
| | | weak: yes
| | | strong: no
```
这棵树的意义是:当天天气为晴天时,则不进行球赛;当天天气为阴天时,则进行球赛;当天天气为雨天时,则根据风力进行决策,如果风力较弱则进行球赛,否则不进行。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_lunwen.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![-](https://csdnimg.cn/download_wenku/file_type_column_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)
![](https://csdnimg.cn/download_wenku/file_type_ask_c1.png)