catboost架构图

### CatBoost 架构图解析

CatBoost 是一种基于梯度提升决策树（GBDT）的机器学习算法，特别之处在于其处理分类特征的方式以及减少目标泄漏的技术。架构上，CatBoost 使用 oblivious 决策树作为基础预测单元[^2]。

#### Oblivious 树结构
Oblivious 树是一种特殊的二叉树，在这种树中：

- 所有内部节点都在同一深度进行分裂。
- 每个叶子节点可以通过一个固定长度的二进制向量唯一标识，该向量表示从根到叶路径上的左(0)/右(1)分支选择序列。
- 这种设计使得模型更加稳定，减少了过拟合的风险。


此图为典型的 CatBoost 架构示意，展示了数据流经多个层次的过程：
- **输入层**: 接收原始特征集，包括数值型和类别型变量。
- **预处理阶段**: 对于类别特征采用创新性的编码方法；对于连续值则可能应用特定变换。
- **多轮 boosting 循环**:
- 每一轮构建一棵新的 oblivious 树。
- 利用前几棵树产生的残差更新当前轮的目标函数。
- **输出层**: 综合各棵子树的结果给出最终预测。

通过上述过程可以看出，CatBoost 不仅继承了传统 GBDT 的优点，还引入了一些改进措施来提高性能并简化调参流程。

from catboost import CatBoostClassifier, Pool
import numpy as np

# 创建简单的示例数据集
X = np.array([[0], [1]])
y = np.array([0, 1])

model = CatBoostClassifier(iterations=2, depth=2, learning_rate=1, loss_function='Logloss')
train_data = Pool(data=X, label=y)
model.fit(train_data)