极端随机森林算法 回归

### 极端随机森林算法在回归任务中的应用

极端随机森林（Extremely Randomized Trees, ERT）是一种集成学习方法，属于决策树模型的一种变体。与标准的随机森林不同的是，在构建每棵决策树时，ERT不仅会随机选择特征子集来分裂节点，还会随机选取分割阈值[^1]。

对于回归任务而言，极端随机森林通过以下方式工作：

- **数据准备**：输入训练样本集合 \( D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\} \)，其中 \( x_i \) 表示第 i 个实例的属性向量，\( y_i \) 是对应的连续型目标变量。

- **模型建立**：创建多棵树构成的森林。每一棵树都是独立生长出来的，并且在整个过程中不会进行剪枝操作。当决定如何划分内部结点时，不是寻找最优切分点而是完全随机地挑选一个或几个特征以及这些被选中特征上的任意值作为测试条件。

- **预测过程**：给定一个新的观测值 \( x_{new} \)，将其传递到森林里的每一棵已训练好的树上得到各自的输出结果；最后取所有单棵树预测值得平均数作为最终的结果。

下面是一个简单的 Python 实现例子，使用 `sklearn` 库中的 `ExtraTreesRegressor` 类来进行极端随机森林回归分析:

from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.ensemble import ExtraTreesRegressor
import numpy as np

# 创建模拟数据集
X, y = make_regression(n_samples=1000, n_features=20, noise=0.1)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25)

# 初始化并拟合模型
ert_regressor = ExtraTreesRegressor(n_estimators=100)
ert_regressor.fit(X_train, y_train)

# 预测新数据
predictions = ert_regressor.predict(X_test)

print('真实值:', y_test[:5])
print('预测值:', predictions[:5])

mse = ((y_test - predictions)**2).mean()
rmse = np.sqrt(mse)
print(f'均方根误差 RMSE={rmse:.3f}')