决策树（数据挖掘作业）

数据挖掘与知识发现第四次作业

题目要求：天气因素有温度、湿度和刮风等，通过给出数据，使用

决策树算法学习分类，输出一个人是运动和不运动与天气之间的规

则树。

1、部分数据集如下:

Weather Temperature Humidity Windy Play

Sunny 85 85 0 0

Sunny 80 90 1 0

Sunny 69 70 0 1

Rainy 75 80 0 1

Sunny 75 70 1 1

Overcast 72 90 1 1

Overcast 81 75 0 1

Rainy 71 80 1 0

2、各分类的信息增益计算

可以看出，一共 14 个样例，包括 9 个 Yes 和 5 个 No。那么当前信

息的熵计算如下：

'''

'

''''' 划分后，数据被分为三部分了，那么各个分支的信息熵计算如下

'

'''''''

'

''''' '那么划分后的信息熵为

' 代表在特征属性 的条件下样本的条件熵。那么最

终得到特征属性 带来的信息增益为

'

''信息增益的计算公式如下

有 13 个候选阈值（最佳分裂点），最佳阈值为：middle[71,72],即

71.5.

Low(<71.5):4 个 Yes,2 个 No.

High(>=71.5):5 个 Yes,3 个 No

Info(T 温度)：Info([4,2],[5,3])=0.939

Gain(T)=0.9403-0.939=0.0013

3) 按照湿度大小排序：

65 70 70 70 75 78 80 80 80 85 90 90 95 96

Y N Y Y Y Y N Y Y N N Y N Y

Windy(有风): 3 个 Yes,3 个 No

Nowindy(无风)：6 个 Yes,2 个 No