决策树和随机森林关系

### 决策树与随机森林的关系

决策树是一种基础的机器学习算法，用于分类和回归任务。其构建过程涉及通过一系列条件判断来分割数据空间，从而形成一棵由节点和分支组成的树状结构[^1]。

随机森林则是在多个决策树的基础上发展而来的集成方法。具体而言，该模型利用Bootstrap抽样技术从原始训练集中有放回地抽取子样本，并针对这些不同的子样本分别训练独立的决策树；与此同时，在每次分裂节点时仅考虑部分随机选择出来的候选特征而非全部特征。最终预测结果通过对所有单棵树输出取平均值（对于回归问题）或多数投票法（对于分类问题）得出。

这种设计使得随机森林具备如下优势：

- **更高的准确性**：由于综合了众多弱学习器的结果，因此整体表现往往优于单独使用的决策树；
- **更强的稳定性**：即使某些个体树存在过拟合现象，整个森林仍能保持较好的泛化能力；
- **更广泛的适用范围**：适用于高维稀疏数据以及含有噪声干扰的情况。

然而值得注意的是，尽管随机森林在很多场景下都表现出色，但它也并非万能药——当面对线性可分的数据集时，简单的逻辑回归可能更加高效；另外如果输入变量之间存在着很强的相关性，则可能会削弱随机性的效果进而影响到性能提升的程度。

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
import numpy as np

# 创建模拟数据集
X, y = make_classification(n_samples=1000, n_features=20,
                           n_informative=2, n_redundant=10,
                           random_state=42)

# 划分训练集测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42)

# 单棵决策树
dt_clf = DecisionTreeClassifier(random_state=42)
dt_clf.fit(X_train, y_train)
print(f'Decision Tree Accuracy on Test Set: {np.mean(dt_clf.predict(X_test) == y_test):.4f}')

# 随机森林
rf_clf = RandomForestClassifier(n_estimators=100, random_state=42)
rf_clf.fit(X_train, y_train)
print(f'Random Forest Accuracy on Test Set: {np.mean(rf_clf.predict(X_test) == y_test):.4f}')