特征并行的分布式梯度提升树算法FP-GBDT

"面向高维特征和多分类的分布式梯度提升树.pdf" 本文主要探讨了在高维特征和多分类任务中，如何优化分布式梯度提升树（Gradient Boosting Decision Tree, GBDT）的性能。GBDT算法因其高精度和良好的可解释性，在机器学习领域广泛应用。然而，随着数据规模的急剧增加，传统的数据并行策略在处理高维特征和多分类问题时效率较低，主要因为需要传输大量的梯度直方图数据，这在通信上成为了性能瓶颈。 作者首先对比了数据并行策略与特征并行策略。理论分析表明，特征并行更适用于高维和多分类的场景，因为它减少了对梯度直方图的依赖，从而降低了通信开销。基于这一理论，文章提出了一种名为FP-GBDT（Feature-Parallel GBDT）的分布式梯度提升树算法。FP-GBDT的核心优化包括： 1. 分布式数据集转置：FP-GBDT采用一种高效的分布式数据集转置算法，将原本按行存储的数据转换为按列存储，便于特征并行处理。 2. 稀疏感知的梯度直方图构建：在构建梯度直方图时，FP-GBDT利用稀疏性，只处理非零值特征，以减少计算量和内存消耗。 3. 比特图压缩：在分裂树节点时，FP-GBDT通过比特图压缩技术来传输数据样本的位置信息，显著降低通信开销，提高并行效率。 实验结果显示，FP-GBDT的优化方法有效提升了算法性能，并且在与XGBoost等其他分布式GBDT实现的比较中，尤其是在高维特征和多分类任务上，FP-GBDT表现出色，性能提升最高可达6倍。 关键词涉及的领域包括梯度提升树算法的优化、数据并行与特征并行策略、系统实现以及算法比较。该研究对于解决大规模数据集上的复杂分类问题提供了新的思路和解决方案，对于提升机器学习系统的效率和可扩展性具有重要意义。