xgboost，catboost

### XGBoost 和 CatBoost 的介绍

#### XGBoost 介绍
XGBoost 是一种基于梯度提升决策树（Gradient Boosting Decision Tree, GBDT）框架的机器学习库。该工具因其高效性和灵活性而被广泛应用，尤其擅长处理结构化/表格数据集。其核心优势在于能够显著提高模型性能的同时保持较低的时间成本。

#### CatBoost 介绍
CatBoost 同样是一个实现 GBDT 算法的开源库，由俄罗斯互联网巨头 Yandex 开发并维护。相较于其他同类工具而言，CatBoost 特别设计用于应对含有大量类别型变量的数据集，并声称可以在不需要预处理的情况下直接处理这些特征[^1]。

---

### 原理概述

#### XGBoost 工作原理
XGBoost 实现了正则化的线性回归和逻辑斯谛回归作为基分类器的选择之一；除此之外还引入了一种新的加权量化直方图算法来加速训练过程。此外，通过优化目标函数以及采用二阶泰勒展开近似损失函数的方法进一步增强了泛化能力，从而有效地减少了过拟合现象的发生概率[^2]。

#### CatBoost 运行机制
为了克服传统 GBDT 方法中存在的偏差问题，CatBoost 创新地提出了“有序增强”技术——即每次构建子树时都会考虑先前所有样本的信息而非仅仅依赖当前节点上的局部统计量。这种做法不仅提高了预测精度而且降低了由于不恰当处理离散属性所引起的误差风险。对于类别型特征的支持则是借助于组合式的编码方案完成转换工作，无需额外准备阶段即可投入实际应用中去。

---

### 使用方法说明

#### XGBoost 应用实例
下面给出一段简单的 Python 代码片段展示如何利用 `xgboost` 包来进行基本的操作：

import xgboost as xgb
from sklearn.datasets import load_boston
from sklearn.model_selection import train_test_split

# 加载波士顿房价数据集
data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target)

# 创建 DMatrix 数据格式
dtrain = xgb.DMatrix(X_train, label=y_train)
dtest = xgb.DMatrix(X_test, label=y_test)

# 设置参数
param = {'max_depth': 3, 'eta': 0.1}
num_round = 100

# 训练模型
bst = xgb.train(param, dtrain, num_round)

# 测试模型效果
preds = bst.predict(dtest)

#### CatBoost 使用指南
同样提供了一个基础的例子以帮助理解怎样调用 `catboost` 来解决具体问题：

from catboost import CatBoostRegressor
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split

# 获取加州房屋价格数据集
dataset = fetch_california_housing(as_frame=True).frame
categorical_features_indices = [col for col in dataset.columns if dataset[col].dtype == "object"]

# 准备训练测试集合
df_train, df_valid = train_test_split(dataset, test_size=0.25)

model = CatBoostRegressor(iterations=500,
                          learning_rate=0.1,
                          depth=6,
                          loss_function='RMSE')

# 拟合模型
model.fit(df_train.drop('MedHouseVal', axis=1),
          df_train['MedHouseVal'],
          cat_features=categorical_features_indices)

# 预测验证集结果
predictions = model.predict(df_valid.drop('MedHouseVal', axis=1))