请详解CART决策树是如何实现回归的
时间: 2024-06-03 13:12:54 浏览: 240
python决策树之CART分类回归树详解
5星 · 资源好评率100%
CART(Classification and Regression Trees)决策树算法既可以用于分类问题,也可以用于回归问题。其实现回归的过程与分类类似,但是其划分标准不同。
CART决策树的回归树的构建过程如下:
1. 选择一个划分特征$j$和一个划分点$s$,将样本集$D$分成$D_1$和$D_2$两部分,使得两部分样本的均方差之和最小:
$$\min_{j,s}[\min_{c_1}\sum_{x_i\in D_1(j,s)}(y_i-c_1)^2+\min_{c_2}\sum_{x_i\in D_2(j,s)}(y_i-c_2)^2]$$
其中,$D_1(j,s)$和$D_2(j,s)$分别表示特征$j$在划分点$s$处的左右两部分样本集,$c_1$和$c_2$分别表示两部分样本的均值。
2. 递归地对$D_1$和$D_2$两部分样本集进行划分,直到满足停止条件为止。停止条件可以是样本数量达到最小值或树的深度达到最大值等。
3. 对新的样本进行预测时,从根节点开始,根据样本的特征值与划分点的比较结果选择左子树或右子树,直到叶节点,叶节点的值即为预测值。
注意,CART决策树的回归树的划分标准是均方差最小化,而不是信息增益最大化或Gini指数最小化。其构建过程与分类树相似,但叶节点的值是样本的均值,而不是样本最多的类别。
阅读全文