随机森林特征选择原理

随机森林是一种集成学习算法，它可以用于特征选择。随机森林的特征选择原理如下：

1. 从原始训练集中使用Bootstraping方法随机有放回采样选出m个样本，共进行n_tree次采样，生成n_tree个训练集。
2. 对于n_tree个训练集，我们分别训练n_tree个决策树模型。
3. 对于单个决策树模型，假设训练样本特征的个数为n，那么每次分裂时根据信息增益/信息增益比/基尼指数选择最好的特征进行分裂。
4. 每棵树都一直这样分裂下去，直到该节点的所有训练样例都属于同一类。在决策树的分裂过程中不需要剪枝。
5. 将生成的多棵决策树组成随机森林。对于分类问题，按多棵树分类器投票决定最终分类结果；对于回归问题，由多棵树预测值的均值决定最终预测结果。

在随机森林中，不仅对样本进行采样，还会对属性进行采样，即横竖采样。对属性的采样不再是自助采样法，而是简单地按一定比例随机采样。

总结起来，随机森林的特征选择原理是通过构建多个决策树，并根据信息增益/信息增益比/基尼指数选择最好的特征进行分裂，最终通过多棵树的投票或预测值的均值来确定最终的特征选择结果。