llama-factory单机多卡训练

### 使用 llama-factory 进行单机多卡训练

对于希望利用 llama-factory 执行单机多卡训练的用户来说，理解其基于 Docker 的架构以及具体的命令集至关重要。通过这些工具可以有效地管理和分配计算资源给多个 GPU。

启动多卡训练之前，确保已经安装并配置好 Docker 和 nvidia-docker 支持[^2]。这一步骤是必要的，因为 llama-factory 利用了容器化技术来简化环境设置过程，并保证不同硬件间的兼容性。

执行多卡训练的具体指令如下所示：

llamafactory-cli train \
    --gpus 0,1,2,3 \ # 指定使用的GPU编号
    --distributed \  # 启用分布式模式
    examples/train_lora/multi_gpu_training.yaml

上述命令中的 `examples/train_lora/multi_gpu_training.yaml` 文件包含了用于指导训练流程的各项参数设定。此文件需根据实际需求调整优化器选项、学习率以及其他超参配置[^1]。

为了进一步提高效率，在 YAML 配置文件内还可以指定数据加载方式和其他加速策略。例如启用混合精度训练以减少内存占用和加快运算速度；或是采用 DeepSpeed 来实现更高效的通信机制和支持更大的批量处理能力。

完成训练之后，可以通过类似的命令来进行推理测试或导出最终模型权重:

llamafactory-cli chat examples/inference/multi_gpu_inference.yaml
llamafactory-cli export examples/merge_lora/final_model_export.yaml

以上操作均应在同一台机器上拥有足够数量显卡的情况下运行，从而充分利用本地资源提升性能表现。