Python3 ID3决策树判断申请贷款是否成功的实现代码

Python3 ID3决策树判断申请贷款是否成功的实现代码决策树判断申请贷款是否成功的实现代码

主要介绍了Python3 ID3决策树判断申请贷款是否成功的实现代码，本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

1. 定义生成树定义生成树

# -*- coding: utf-8 -*-

#生成树的函数

from numpy import *

import numpy as np

import pandas as pd

for featVec in dataSet: #按行循环：即rowVev取遍了数据集中的每一行

currentLabel = featVec[-1] #故featVec[-1]取遍每行最后一个值即Label

if currentLabel not in labelCounts.keys(): #如果当前的Label在字典中还没有

labelCounts[currentLabel] = 0 #则先赋值0来创建这个词

labelCounts[currentLabel] += 1 #计数, 统计每类Label数量(这行不受if限制)

InfoEnt = 0.0

for key in labelCounts: #遍历每类Label

prob = float(labelCounts[key])/numEntries #各类Label熵累加

InfoEnt -= prob * log(prob,2) #ID3用的信息熵增益公式

return InfoEnt

reducedFeatVec.extend(featVec[axis+1:]) #该特征之后的特征仍保留在样本dataSet中

retDataSet.append(reducedFeatVec) #把这个样本加到list中

return retDataSet

### 对于连续特征: 返回特征取值大于value的所有样本(以value为阈值将集合分成两部分)

def splitContinuousDataSet(dataSet, axis, value):

retDataSetG = [] #将储存取值大于value的样本

retDataSetL = [] #将储存取值小于value的样本

for featVec in dataSet:

if featVec[axis] > value:

reducedFeatVecG = featVec[:axis]

return retDataSetG,retDataSetL #返回两个集合, 是含2个元素的tuple形式

### 根据InfoGain选择当前最好的划分特征(以及对于连续变量还要选择以什么值划分)

def chooseBestFeatureToSplit(dataSet,labels):

numFeatures = len(dataSet[0])-1

baseEntropy = calcInfoEnt(dataSet)

bestInfoGain = 0.0; bestFeature = -1

bestSplitDict = {}

for i in range(numFeatures):

#遍历所有特征：下面这句是取每一行的第i个, 即得当前集合所有样本第i个feature的值

featList = [example[i] for example in dataSet]

subDataSet = splitDiscreteDataSet(dataSet, i, value)#计算每个取值的信息熵

prob = len(subDataSet)/float(len(dataSet))

newEntropy += prob * calcInfoEnt(subDataSet)#各取值的熵累加

infoGain = baseEntropy - newEntropy #得到以该特征划分的熵增

# 对于连续特征：求若以该特征划分的熵增(区别：n个数据则需添n-1个候选划分点, 并选最佳划分点)

else: #产生n-1个候选划分点

sortfeatList=sorted(featList)

splitList=[]

for j in range(len(sortfeatList)-1): #产生n-1个候选划分点

splitList.append((sortfeatList[j] + sortfeatList[j+1])/2.0)

subDataSetG = DataSet[0]

subDataSetL = DataSet[1]

probG = len(subDataSetG) / float(len(dataSet))

newEntropy += probG * calcInfoEnt(subDataSetG)

probL = len(subDataSetL) / float(len(dataSet))

newEntropy += probL * calcInfoEnt(subDataSetL)

if newEntropy < bestSplitEntropy:

bestSplitEntropy = newEntropy

bestSplit = j

bestSplitDict[labels[i]] = splitList[bestSplit]#字典记录当前连续属性的最佳划分点

#即将该特征改为“是否小于等于bestSplitValue”, 例如将“密度”变为“密度<=0.3815”

#注意：以下这段直接操作了原dataSet数据, 之前的那些float型的值相应变为0和1

#【为何这样做?】在函数createTree()末尾将看到解释

if type(dataSet[0][bestFeature]).__name__=='float' or type(dataSet[0][bestFeature]).__name__=='int':

bestSplitValue = bestSplitDict[labels[bestFeature]]

labels[bestFeature] = labels[bestFeature] + '<=' + str(bestSplitValue)

for i in range(shape(dataSet)[0]):

if dataSet[i][bestFeature] <= bestSplitValue:

dataSet[i][bestFeature] = 1

else:

if vote not in classCount.keys():

classCount[vote] = 0 #第一次出现的Label加入字典

classCount[vote] += 1 #计数

return max(classCount)

2. 递归产生决策树递归产生决策树