Python机器学习之决策树算法实例详解_python决策树代码

Python

机器学习

100 浏览量更新于2023-03-03 评论 1 收藏 80KB PDF 举报

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

资源详情

资源评论

资源推荐

Python机器学习之决策树算法实例详解机器学习之决策树算法实例详解

主要介绍了Python机器学习之决策树算法,较为详细的分析了实例详解机器学习中决策树算法的概念、原理及相

关Python实现技巧,需要的朋友可以参考下

本文实例讲述了Python机器学习之决策树算法。分享给大家供大家参考，具体如下：

决策树学习是应用最广泛的归纳推理算法之一，是一种逼近离散值目标函数的方法，在这种方法中学习到的函数被表示为一棵

决策树。决策树可以使用不熟悉的数据集合，并从中提取出一系列规则，机器学习算法最终将使用这些从数据集中创造的规

则。决策树的优点为：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点为：可

能产生过度匹配的问题。决策树适于处理离散型和连续型的数据。

在决策树中最重要的就是如何选取用于划分的特征

在算法中一般选用ID3，D3算法的核心问题是选取在树的每个节点要测试的特征或者属性，希望选择的是最有助于分类实例的

属性。如何定量地衡量一个属性的价值呢？这里需要引入熵和信息增益的概念。熵是信息论中广泛使用的一个度量标准，刻画

了任意样本集的纯度。

假设有10个训练样本，其中6个的分类标签为yes，4个的分类标签为no，那熵是多少呢？在该例子中，分类的数目为

2（yes，no），yes的概率为0.6，no的概率为0.4，则熵为：

其中value（A）是属性A所有可能值的集合，是S中属性A的值为v的子集，即。上述公式的第一项为原

集合S的熵，第二项是用A分类S后熵的期望值，该项描述的期望熵就是每个子集的熵的加权和，权值为属于的样本占原始样

本S的比例。所以Gain(S, A)是由于知道属性A的值而导致的期望熵减少。

完整的代码：

# -*- coding: cp936 -*-

from numpy import *

import operator

from math import log

import operator

def createDataSet():

dataSet = [[1,1,'yes'],

[1,1,'yes'],

[1,0,'no'],

[0,1,'no'],

[0,1,'no']]

labels = ['no surfacing','flippers']

return dataSet, labels

def calcShannonEnt(dataSet):

numEntries = len(dataSet)

labelCounts = {} # a dictionary for feature

for featVec in dataSet:

currentLabel = featVec[-1]

if currentLabel not in labelCounts.keys():

labelCounts[currentLabel] = 0

labelCounts[currentLabel] += 1

shannonEnt = 0.0

for key in labelCounts:

#print(key)

#print(labelCounts[key])

prob = float(labelCounts[key])/numEntries

#print(prob)

shannonEnt -= prob * log(prob,2)

return shannonEnt

#按照给定的特征划分数据集

#根据axis等于value的特征将数据提出

def splitDataSet(dataSet, axis, value):

retDataSet = []

for featVec in dataSet:

if featVec[axis] == value:

reducedFeatVec = featVec[:axis]

reducedFeatVec.extend(featVec[axis+1:])

retDataSet.append(reducedFeatVec)

return retDataSet

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

weixin_38739950

粉丝: 8
资源: 918

会员权益专享

Python机器学习之决策树算法实例详解

评论0

会员权益专享

最新资源

Python机器学习之决策树算法实例详解

评论0

Python实现决策树C4.5算法的示例

使用Python实现决策树

python决策树代码

决策树连续型算法python实现

机器学习之决策树实例python

python机器学习 预测分析核心算法 pdf

python 决策树算法实例

Python实现ID3决策树算法。

机器学习决策树python

决策树算法python实例

用python写一个决策树算法流程图

Python代码实现的决策树算法的分类结果在哪看

python决策树算法

python机器学习决策树回归

python实现决策树算法

机器学习 决策树 python 天气

用python写一个决策树算法并绘图

机器学习决策树实例python实现

python机器学习决策树

会员权益专享

最新资源

python机器学习预测分析核心算法 pdf

机器学习决策树 python 天气