基于ID3决策树算法的实现(Python版)_决策树id3算法python实例及数据集

173 浏览量更新于2023-05-04 评论收藏 137KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

基于基于ID3决策树算法的实现决策树算法的实现(Python版版)

实例如下：实例如下：

# -*- coding:utf-8 -*-

from numpy import *

import numpy as np

import pandas as pd

from math import log

import operator

#计算数据集的香农熵

def calcShannonEnt(dataSet):

numEntries=len(dataSet)

labelCounts={}

#给所有可能分类创建字典

for featVec in dataSet:

currentLabel=featVec[-1] if currentLabel not in labelCounts.keys():

labelCounts[currentLabel]=0

labelCounts[currentLabel]+=1

shannonEnt=0.0

#以2为底数计算香农熵

for key in labelCounts:

prob = float(labelCounts[key])/numEntries

shannonEnt-=prob*log(prob,2)

return shannonEnt

#对离散变量划分数据集，取出该特征取值为value的所有样本

def splitDataSet(dataSet,axis,value):

retDataSet=[] for featVec in dataSet:

if featVec[axis]==value:

reducedFeatVec=featVec[:axis] reducedFeatVec.extend(featVec[axis+1:])

retDataSet.append(reducedFeatVec)

return retDataSet

#对连续变量划分数据集，direction规定划分的方向，

#决定是划分出小于value的数据样本还是大于value的数据样本集

def splitContinuousDataSet(dataSet,axis,value,direction):

retDataSet=[] for featVec in dataSet:

if direction==0:

if featVec[axis]>value:

reducedFeatVec=featVec[:axis] reducedFeatVec.extend(featVec[axis+1:])

retDataSet.append(reducedFeatVec)

else:

if featVec[axis]<=value:

reducedFeatVec=featVec[:axis] reducedFeatVec.extend(featVec[axis+1:])

retDataSet.append(reducedFeatVec)

return retDataSet

#选择最好的数据集划分方式

def chooseBestFeatureToSplit(dataSet,labels):

numFeatures=len(dataSet[0])-1

baseEntropy=calcShannonEnt(dataSet)

bestInfoGain=0.0

bestFeature=-1

bestSplitDict={}

for i in range(numFeatures):

featList=[example[i] for example in dataSet] #对连续型特征进行处理

if type(featList[0]).__name__=='float' or type(featList[0]).__name__=='int':

#产生n-1个候选划分点

sortfeatList=sorted(featList)

splitList=[] for j in range(len(sortfeatList)-1):

splitList.append((sortfeatList[j]+sortfeatList[j+1])/2.0)

bestSplitEntropy=10000

slen=len(splitList)

#求用第j个候选划分点划分时，得到的信息熵，并记录最佳划分点

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

weixin_38517113

粉丝: 3
资源: 888

会员权益专享

基于ID3决策树算法的实现(Python版)

评论0

会员权益专享

最新资源

基于ID3决策树算法的实现(Python版)

评论0

决策树代码Python（包含GINI，信息熵构建方法，10折交叉验证，Adaboost以及Boost方法）

代价敏感分类算法的实验比较

决策树剪枝matlab代码-CSForest:代价敏感决策森林算法CSForest的Weka实现

Python实现ID3决策树算法。

ID3决策树python实现

ID3决策树python

id3决策树python

c4.5决策树算法python完整

python决策树算法

应用决策树算法实现Titanic乘客存活率预测代码优化实现

python决策树ID3算法

雇员数据库的简单数据挖掘ID3决策树分类预测python代码

鸢尾花分类 ID3 C4.5 CART算法，Python代码包括超参数寻优，包括树的剪枝，可视化决策树

决策树连续型算法python调库

python决策树模型

写一个基于决策树算法的房价预测实现包含总体过程和源码

简单数据挖掘ID3决策树分类预测python代码

会员权益专享

最新资源