LightGBM：比XGBoost更快的梯度提升决策树

"本文是关于LightGBM的论文阅读总结，重点对比了LightGBM与XGBoost之间的差异，并介绍了LightGBM的优化策略，包括histogram算法、GOSS采样算法以及对稀疏数据的高效处理。" 在机器学习领域，梯度增强决策树（GBDT）是一种广泛应用的模型，其中XGBoost和LightGBM是最受欢迎的实现之一。XGBoost以其高精度和并行计算能力而受到赞誉，但它也有一些局限性。LightGBM正是针对这些局限性进行了优化，从而在保持相近准确率的同时，显著提升了训练速度。 XGBoost的优点在于其采用二阶梯度优化节点划分，增强了模型的精度。同时，它利用局部近似算法提高计算速度，通过加入正则化项增强模型的稳定性和鲁棒性。然而，XGBoost的一个主要缺点是需要预排序（pre-sorted），这消耗大量内存，并导致在寻找特征分裂点时产生大量的随机缓存访问。此外，由于不同特征的排序顺序不同，每次分裂都需要遍历所有特征，导致效率低下。 LightGBM的核心改进在于引入了histogram算法。这一算法替代了预排序，通过将连续特征离散化成直方图，大大减少了内存需求和计算时间。利用histogram算法，LightGBM能够实现更高的缓存命中率，尤其是在使用leaf-wise分裂策略时。此外，histogram方法允许更粗粒度的特征分裂，进一步加快了计算速度。 另一个LightGBM的独特之处在于它采用了梯度优化样本选择策略（GOSS，Gradient-based One-Side Sampling）。这种采样方法专注于处理大数据集，通过优先考虑梯度绝对值大的样本，减少对梯度小的样本的处理，从而加速训练过程，同时保持模型的准确性。 对于稀疏数据的处理，LightGBM的histogram算法表现得更为高效，其时间复杂度优于直接处理稀疏数据的方法。这意味着在处理包含大量缺失值或低频特征的数据集时，LightGBM能更快地完成训练。 LightGBM通过优化数据结构、引入新的采样策略以及改进对稀疏数据的处理，成功地克服了XGBoost的一些限制，实现了更快的训练速度和更高效的内存管理，成为大数据和高维度场景下理想的GBDT工具。