anaconda安装deepspeed

要在Anaconda中安装Deepspeed，可以按照以下步骤进行：

1. 创建一个新的conda环境（可选）：

conda create --name deepspeed_env python=3.8
conda activate deepspeed_env

2. 安装必要的依赖项：

conda install pytorch torchvision torchaudio cudatoolkit=<YOUR_CUDA_VERSION> -c pytorch
pip install tensorboard

3. 下载Deepspeed源代码：

git clone https://github.com/microsoft/deepspeed.git
cd deepspeed

4. 编译并安装Deepspeed：

export TORCH_CUDA_ARCH_LIST="Volta;Turing;Ampere"
export TORCH_NVCC_FLAGS="-Xfatbin -compress-all"
export DEEPSPEED_NVCC_FLAGS="-Xfatbin -compress-all"
export DS_BUILD_CPU_ADAM=1
export DS_BUILD_SPARSE_ATTN=1
export DS_BUILD_TRANSFORMER=1
export DS_BUILD_UTILS=1
export DS_BUILD_PYTHON=1
export DS_BUILD_CPP=1
export DS_BUILD_TESTS=0
export DS_BUILD_DEMO=0
export DS_BUILD_AIO=0
export DEEPSPEED_PIP_DISABLE_DIST_CHECK=1
export PATH=<YOUR_CUDA_PATH>:$PATH
./install.sh

其中，<YOUR_CUDA_VERSION> 和 <YOUR_CUDA_PATH> 分别是您的CUDA版本和CUDA安装路径。请根据您的实际情况进行替换。

安装完成后，您可以使用以下命令验证Deepspeed是否正确安装：

deepspeed --version

如果一切正常，您应该能够看到Deepspeed的版本号。