随机森林 特征重要度

随机森林是一种集成学习方法，它由众多决策树组成，每个决策树都是基于随机选择的样本特征和子集训练而成。对于每个决策树，它会对所有特征计算权重，但在随机森林中，我们关注的是所有决策树对各个特征的平均权重或Gini importance。

特征重要度通常通过以下几种方式计算：
1. Gini Importance: 根据特征减少混乱度的能力来评估，混乱度是分类节点纯度的一种度量。
2. Permutation Importance: 移除某个特征后模型预测性能的下降程度，如果性能严重下滑，则该特征的重要性高。
3. Mean Decrease Impurity (MDI): 计算每个特征使得整个森林的混乱度平均减少的程度。

随机森林的特征重要度可以直观地展示哪些特征对模型的影响最大，帮助我们理解数据和选择合适的特征组合。高重要度的特征往往在预测结果中起着关键作用。