xgboost特征选择matlab
时间: 2023-10-02 14:09:26 浏览: 106
xgboost代码回归matlab-FeatureSelection:功能选择
在xgboost中,特征选择通常是通过三种方法来确定分裂点位置:暴力穷举搜索法、候选分位点法和按权重的分位点算法。这些方法都是为了找到最佳的分裂点位置来提高模型的性能。
然而,需要注意的是,xgboost只支持数值型的特征,不支持离散类别特征进行one-hot编码。因为对离散值特别多的特征进行one-hot编码会增加树的深度,影响模型的性能。相反,可以采用embedding的方式将离散特征映射成低维向量,这是一种更好的解决方案。
综上所述,xgboost是由多个CART回归树集成而成,它在GBM标准算法的基础上进行了优化。特征选择是通过考虑不同的分裂点算法来实现的,同时也支持使用embedding的方式处理离散特征。
阅读全文