python实现决策树ID3算法的示例代码_用决策树算法进行情感分析 - CSDN文库

决策树ID3算法

决策树id3算法python

5星 · 超过95%的资源 153 浏览量更新于2023-05-11 评论 2 收藏 46KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

python实现决策树实现决策树ID3算法的示例代码算法的示例代码

主要介绍了python实现决策树ID3算法的示例代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。

一起跟随小编过来看看吧

在周志华的西瓜书和李航的统计机器学习中对决策树ID3算法都有很详细的解释，如何实现呢？核心点有如下几个步骤

step1:计算香农熵计算香农熵

from math import log

import operator

# 计算香农熵

def calculate_entropy(data):

label_counts = {}

for feature_data in data:

laber = feature_data[-1] # 最后一行是laber

if laber not in label_counts.keys():

label_counts[laber] = 0

label_counts[laber] += 1

count = len(data)

entropy = 0.0

for key in label_counts:

prob = float(label_counts[key]) / count

entropy -= prob * log(prob, 2)

return entropy

step2.计算某个计算某个feature的信息增益的方法的信息增益的方法

# 计算某个feature的信息增益

# index:要计算信息增益的feature 对应的在data 的第几列

# data 的香农熵

def calculate_relative_entropy(data, index, entropy):

feat_list = [number[index] for number in data] # 得到某个特征下所有值（某列）

uniqual_vals = set(feat_list)

new_entropy = 0

for value in uniqual_vals:

sub_data = split_data(data, index, value)

prob = len(sub_data) / float(len(data))

new_entropy += prob * calculate_entropy(sub_data) # 对各子集香农熵求和

relative_entropy = entropy - new_entropy # 计算信息增益

return relative_entropy

step3.选择最大信息增益的选择最大信息增益的feature

# 选择最大信息增益的feature

def choose_max_relative_entropy(data):

num_feature = len(data[0]) - 1

base_entropy = calculate_entropy(data)#香农熵

best_infor_gain = 0

best_feature = -1

for i in range(num_feature):

info_gain=calculate_relative_entropy(data, i, base_entropy)

#最大信息增益

if (info_gain > best_infor_gain):

best_infor_gain = info_gain

best_feature = i

return best_feature

step4.构建决策树构建决策树

def create_decision_tree(data, labels):

class_list=[example[-1] for example in data]

# 类别相同，停止划分

if class_list.count(class_list[-1]) == len(class_list):

return class_list[-1]

# 判断是否遍历完所有的特征时返回个数最多的类别

if len(data[0]) == 1:

return most_class(class_list)

# 按照信息增益最高选取分类特征属性

best_feat = choose_max_relative_entropy(data)

best_feat_lable = labels[best_feat] # 该特征的label

decision_tree = {best_feat_lable: {}} # 构建树的字典

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

评论5

生活教会我们

2023-07-26

该示例代码省略了繁琐的部分，直接展示了决策树ID3算法的核心思想。

weixin_38622475

粉丝: 0
资源: 913

会员权益专享

图片转文字

全年可省5，000元立即开通

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈