catboost原理图

### CatBoost工作原理解析

#### 一、概述
CatBoost是一种基于梯度提升决策树（GBDT）框架开发的机器学习算法，特别适用于处理分类特征。该模型通过引入有序增强技术和预测转换技术来减少过拟合并提高准确性[^1]。

#### 二、核心机制
- **有序提升**：为了克服传统GBDT中存在的偏差问题，在训练过程中采用了一种称为“伪残差”的方法计算目标变量的变化量。具体来说就是对于每一个样本点都构建了一个新的数据集用于评估其损失函数值，并以此为基础调整权重。

- **类别型特征编码**：针对含有大量类别的离散属性，提出了两种有效的编码方式——Target统计法与边界采样策略。前者利用历史信息估计当前节点上各类别对应的平均响应；后者则是在每次分裂前随机抽取部分子集作为参照系来进行比较判断。

#### 三、算法流程示意

以下是按照文献描述整理出来的简化版CatBoost算法逻辑：

| 步骤 | 描述 |
| --- | ---- |
| 输入 | 训练集D={(xi,yi)}ⁿ_i=1, 迭代次数T, 学习率η|
| 初始化f(x)=0 | 设定初始预测值为零向量 |
| For t from 1 to T do | 开始循环直到达到最大迭代轮数 |
|   For i from 1 to n do | 遍历所有实例 |
|     Compute pseudo-residuals ri,t = yi−ft(xi) | 使用现有模型得到第t次迭代后的误差项 |
|     Fit regression tree ht on (xi,ri,t) with depth d | 构建回归树ht以拟合上述所得残差分布情况 |
|     Update ft+1 ← ft + η⋅ht | 更新全局预测器F=F+ηH |
| End for | 结束一轮迭代 |

此表格总结了CatBoost的核心操作过程，其中最重要的是如何有效地处理类别型输入以及防止过度拟合等问题。

graph TD;
    A[初始化: f(x)=0] --> B{开始迭代};
    B --> C[遍历每个样本];
    C --> D[计算pseudo-residuals r_i,t=y_i-f_t(x_i)];
    D --> E[建立回归树h_t拟合(r_i,t)];
    E --> F[更新预测器:f_(t+1)<-f_t+η*h_t];
    F --> G{结束本轮?};
    G -->|否| H[继续下一次迭代];
    G -->|是| I[完成训练返回最终模型];