首页FSDP需要的pytorch环境

FSDP需要的pytorch环境

时间: 2024-10-15 13:30:37 浏览: 12

axolotl 是一款旨在简化各种人工智能模型微调的工具，提供对多种配置和架构的支持

特征： - 训练各种 Huggingface 模型，如 llama、pythia、falcon、mpt - 支持 fullfinetune、lora、qlora、relora 和 gptq - 使用简单的 yaml 文件或 CLI 覆盖自定义配置 - 加载不同的数据集格式、使用自定义格式或引入您自己的标记化数据集与 xformer、Flash Attention、绳索缩放和多重包装集成 - 通过 FSDP 或 Deepspeed 与单个 GPU 或多个 GPU 配合使用 - 在本地或云端轻松使用 Docker 运行 - 将结果和可选的检查点记录到 wandb 或 mlflow - 和更多！ Get started with Axolotl in just a few steps! This quickstart guide will walk you through setting up and running a basic fine-tuning task. Requirements: Python >=3.10 and Pytorch >=2.1.1.

要使用PyTorch的FSDP（Fully Sharded Data Parallel），你需要安装PyTorch的最新稳定版或至少包含FSDP功能的特定版本。由于FSDP于2021年引入并在PyTorch 1.11中集成，你应该确保你的PyTorch环境至少支持这个版本。如果你正在从头开始安装，可以参考以下命令： ```bash pip install torch torchvision torchaudio -f https://download.pytorch.org/whl/torch_stable.html ``` 如果已经安装了较旧版本，可以通过以下命令升级到包含FSDP的版本： ```bash pip install torch torchvision torchaudio --upgrade ``` 之后，在你的Python环境中导入`torch.nn.parallel.fully_sharded_data_parallel`模块即可开始使用FSDP。请注意，这通常需要在分布式训练设置下运行，如使用`torch.distributed.launch`或相关工具。

阅读全文