deep speed

DeepSpeed是一个用于加速深度学习训练和推理的开源引擎。它包含训练引擎和推理引擎，并将它们整合成了一个统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）。这使得DeepSpeed能够在训练和推理模式之间无缝切换，并且可以利用来自DeepSpeed-Inference的各种优化。在多个GPU节点上，DeepSpeed在系统吞吐量方面比其他方法提速了6-19倍。它还提供了快速训练模式和生成/评估模式的无缝切换，为深度强化学习高效训练提供了一个更快的系统。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
- *1* *2* *3* [重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！](https://blog.csdn.net/weixin_36896856/article/details/130143965)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]