决策树python剪枝

决策树的剪枝是指在构建完整个决策树之后，去掉一些分支或叶子节点，以达到降低过拟合的目的。在Python中，可以使用sklearn库的DecisionTreeClassifier类进行决策树的剪枝。

sklearn库中的DecisionTreeClassifier类提供了两种剪枝方法：预剪枝和后剪枝。

1. 预剪枝

预剪枝是在构建决策树的过程中，提前停止某些分支的生长，以避免过拟合。在sklearn库中，可以使用max_depth、min_samples_split、min_samples_leaf、max_leaf_nodes等参数来控制预剪枝的效果。

例如，下面的代码展示了如何使用max_depth参数来控制决策树的深度：

from sklearn.tree import DecisionTreeClassifier

dtc = DecisionTreeClassifier(max_depth=5)
dtc.fit(X_train, y_train)

2. 后剪枝

后剪枝是在构建完整个决策树之后，去掉一些分支或叶子节点，以达到降低过拟合的目的。在sklearn库中，可以使用cost_complexity_pruning_path()函数获取不同剪枝强度对应的决策树，并使用ccp_alpha参数来控制剪枝强度。

例如，下面的代码展示了如何使用ccp_alpha参数来控制后剪枝的效果：

from sklearn.tree import DecisionTreeClassifier

dtc = DecisionTreeClassifier(random_state=0)
path = dtc.cost_complexity_pruning_path(X_train, y_train)
ccp_alphas = path.ccp_alphas[:-1]

clfs = []
for ccp_alpha in ccp_alphas:
    clf = DecisionTreeClassifier(random_state=0, ccp_alpha=ccp_alpha)
    clf.fit(X_train, y_train)
    clfs.append(clf)

train_scores = [clf.score(X_train, y_train) for clf in clfs]
test_scores = [clf.score(X_test, y_test) for clf in clfs]