module 'deepspeed' has no attribute 'init_process_group'
时间: 2023-07-23 07:15:41 浏览: 109
mdk_armcc_user_guide.pdf
如果你在使用最新版本的 DeepSpeed,你需要使用 `deepspeed.ops.initialize()` 函数来初始化 DeepSpeed 后端。你可以在训练代码中添加以下代码来解决这个问题:
```
import deepspeed.ops
deepspeed.ops.initialize()
```
请确保在调用 `deepspeed.ops.initialize()` 之前已经初始化了 PyTorch 分布式后端。如果你仍然遇到问题,请检查你的 DeepSpeed 版本是否与你的 PyTorch 版本兼容。
阅读全文