python决策树之决策树之CART分类回归树详解分类回归树详解
决策树之CART(分类回归树)详解,具体内容如下
1、、CART分类回归树简介分类回归树简介
CART分类回归树是一种典型的二叉决策树,可以处理连续型变量和离散型变量。如果待预测分类是离散型数据,则CART生成分类决策
树;如果待预测分类是连续型数据,则CART生成回归决策树。数据对象的条件属性为离散型或连续型,并不是区别分类树与回归树的标
准,例如表1中,数据对象xi的属性A、B为离散型或连续型,并是不区别分类树与回归树的标准。
表1
2、、CART分类回归树分裂属性的选择分类回归树分裂属性的选择
2.1 CART分类树分类树——待预测分类为离散型数据待预测分类为离散型数据
选择具有最小Gain_GINI的属性及其属性值,作为最优分裂属性以及最优分裂属性值。Gain_GINI值越小,说明二分之后的子样本的“纯
净度”越高,即说明选择该属性(值)作为分裂属性(值)的效果越好。
对于样本集S,GINI计算如下:
其中,在样本集S中,Pk表示分类结果中第k个类别出现的频率。
对于含有N个样本的样本集S,根据属性A的第i个属性值,将数据集S划分成两部分,则划分成两部分之后,Gain_GINI计算如下:
其中,n1、n2分别为样本子集S1、S2的样本个数。
对于属性A,分别计算任意属性值将数据集划分成两部分之后的Gain_GINI,选取其中的最小值,作为属性A得到的最优二分方案:
对于样本集S,计算所有属性的最优二分方案,选取其中的最小值,作为样本集S的最优二分方案:
所得到的属性A及其第i属性值,即为样本集S的最优分裂属性以及最优分裂属性值。
2.2 CART回归树回归树——待预测分类为连续型数据待预测分类为连续型数据
区别于分类树,回归树的待预测分类为连续型数据。同时,区别于分类树选取Gain_GINI为评价分裂属性的指标,回归树选取Gain_σ为
评价分裂属性的指标。选择具有最小Gain_σ的属性及其属性值,作为最优分裂属性以及最优分裂属性值。Gain_σ值越小,说明二分之后的子
样本的“差异性”越小,说明选择该属性(值)作为分裂属性(值)的效果越好。
针对含有连续型分类结果的样本集S,总方差计算如下:
其中,μ表示样本集S中分类结果的均值,Ck表示第k个分类结果。
对于含有N个样本的样本集S,根据属性A的第i个属性值,将数据集S划分成两部分,则划分成两部分之后,Gain_σ计算如下:
评论0