Bagua：深度学习训练加速神器，提升效率超20%至100%

"这篇演讲由廉相如博士在DataFunSummit 2021上分享，主题聚焦于快手公司如何使用Bagua分布式训练加速框架来应对深度学习的并行瓶颈，提升训练效率。 Bagua是一款针对PyTorch和TensorFlow的一站式训练加速系统，旨在解决深度学习模型训练中的各种瓶颈问题，包括数据读取、预处理、梯度计算/更新和机器间的通信等环节。" 在过去的十年里，深度学习经历了飞速发展，伴随着算力的大幅提升和数据量的急剧增长，模型的复杂性也随之增加。尽管现在的硬件可以将以前需要数周时间训练的任务缩短到几小时，例如ImageNet的训练，但随着数据量和模型复杂性的增加，对于训练速度的需求也日益增长。在快手这样的大型平台，面对每日活跃用户超过三亿的行为数据，数万年的总视频样本时长，以及每秒数百条的视频上传，高效的模型训练显得至关重要。 Bagua作为解决方案，它提供全流程的加速工具，能有效提升各种规模的模型训练速度。在快手的核心业务场景中，Bagua展示了显著的加速效果：对于大规模自然语言处理任务（类似GPT2-XL规模的模型），加速了65%；大规模图像识别任务（涉及10亿+图像/视频）加速20%至30%；大规模语音识别任务（TB级别的语音资料）加速20%至30%；而对于大规模推荐系统（训练万亿级别参数模型，支持亿级别DAU应用）的加速效果更超过100%。 Bagua在不同网络条件下，如VGG16基准测试（128个GPU）中也显示出优秀的性能。它专门针对数据读取、预处理计算和数据不均衡等问题进行优化。Bagua利用深度学习任务的特性，实现分布式缓存数据和计算产物，减少了对数据的重复读取和预处理计算，从而有效提升了整体训练速度。在设计缓存策略时，关键在于识别哪些计算结果是可以被缓存的，以便最大化加速效果。 Bagua分布式训练加速框架通过优化深度学习训练流程的各个环节，特别是在数据处理和计算效率上，显著提升了模型训练的速度，对于快手这样的大型企业来说，是应对大数据量和高复杂度模型训练瓶颈的理想工具。同时，Bagua的通用性使其适用于PyTorch和TensorFlow，这使得更多依赖这些框架的开发者和研究者能够受益于其带来的训练效率提升。