PaddleBox与FeaBox：GPU驱动的大规模离散模型训练与特征抽取框架

"本文主要介绍了基于GPU的超大规模离散模型训练框架PaddleBox和FeaBox，这两个框架由百度MEG商业模型中台技术负责人焦学武在2021年10月的@DataFunSummit上进行分享。PaddleBox是业界首个全GPU的大规模离散DNN训练框架，而FeaBox则是一个一体化的特征抽取框架，两者共同提升了模型训练和特征工程的效率。" PaddleBox和FeaBox是百度开发的两个关键工具，用于处理超大规模的离散模型训练和特征抽取任务。PaddleBox是基于GPUBox构建的，它旨在解决大规模离散深度神经网络（DNN）模型的训练问题。该框架具有以下特点： 1. **全GPU支持**：PaddleBox是业界第一个完全依赖GPU进行大规模离散DNN模型训练的框架，这使得它能够在单机上处理千亿维特征和万亿维参数的模型，模型大小可达10TB。 2. **高效扩展**：PaddleBox支持多机线性扩展，不仅加速了训练过程，还能够应对更大的样本和模型，实现更高效的并行计算。 3. **成本与性能平衡**：相比于传统的MPI解决方案，PaddleBox提供了更高的性价比，性能提升幅度在5至40倍之间，同时保持了系统的低成本、高稳定性和易用性。 FeaBox则是与PaddleBox配套的一体化特征抽取框架，它的主要优势包括： 1. **抽取与训练结合**：FeaBox创新地将特征抽取与模型训练整合在同一框架内，实现了一边抽取特征一边训练模型的流程，显著提高了特征工程的效率。 2. **大幅提升效率**：相比于传统的特征调研方案，FeaBox能将特征调研效率提升10倍，这对于大数据背景下的模型训练至关重要。 百度的在线广告点击率预估（CTR）模型的演进历程也反映了PaddleBox和FeaBox的重要性。从早期的逻辑回归（LR）模型，到连续值DNN，再到大规模离散DNN，模型的复杂性和数据量都呈现爆炸式增长。随着技术的发展，百度逐渐采用基于GPU的优化算法和分布式参数服务器来处理大规模离散特征，最终实现了万亿维、10TB级别的离散DNN模型的落地，其中PaddleBox和FeaBox起到了关键作用。 在百度的实际应用中，这两个框架已经广泛应用于各种场景，如广告推荐、搜索引擎优化等，帮助百度处理海量数据并提高预测精度。通过PaddleBox和FeaBox的组合，百度能够快速训练出复杂的模型，同时保证特征处理的效率，从而在商业模型中取得了显著的成效。