llama-factory使用DeepSpeed多卡微调

### 启动 Docker Image 并配置 `/dev/shm` 大小

为了确保能够顺利运行 DeepSpeed 的多 GPU 训练命令，需要适当增加 Docker 容器中的 `/dev/shm` 内存大小。这可以通过指定 `--shm-size` 参数来实现[^1]。

docker run --shm-size=8g ...

### 准备环境

首先拉取并设置 LLaMA-Factory 项目：

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

确保 PyTorch 已经根据 CUDA 版本正确安装。如果默认安装的是 CPU 支持版本，则需手动下载适合的 GPU 加速版 PyTorch[^4]。

### 使用 DeepSpeed 微调模型

假设已经准备好数据集以及预处理脚本，在执行微调之前应该确认所有依赖项都已妥善安装，并且硬件资源充足。接着可以编写或修改现有的 Python 脚本来利用 DeepSpeed 库进行分布式训练。这里给出一个简单的例子说明如何在代码中集成 DeepSpeed:

import deepspeed
from transformers import TrainerCallback

class DeepspeedCallback(TrainerCallback):
    def __init__(self, ds_config_path="ds_config.json"):
        self.ds_config_path = ds_config_path
    
    def on_init_end(self, args, state, control, **kwargs):
        model_engine, optimizer, _, _ = deepspeed.initialize(
            model=self.model,
            config_params=self.ds_config_path)

# 配置文件路径指向自定义的 DeepSpeed JSON 文件
trainer.add_callback(DeepspeedCallback())

其中 `ds_config.json` 是一个包含优化选项和其他必要参数的 JSON 文件，具体可以根据实际需求定制化调整。

对于更详细的指导和更多高级特性，请参阅官方文档或其他社区贡献者分享的经验贴。

### 启动 Web UI 界面辅助调试

除了命令行操作外，还可以考虑使用可视化界面帮助理解和管理整个流程。通过如下指令启动 Web UI 可视化工具[^3]:

llamafactory-cli webui

这样可以在浏览器端查看到当前状态以及其他有用的信息，有助于更好地控制实验进程。