vllm多卡并行推理

### 使用vLLM进行多GPU并行推理

为了实现基于vLLM框架的多GPU并行推理，需先确保环境配置正确无误。这涉及通过指定方式安装vLLM库[^2]：

git clone https://github.com/vllm/vllm.git
cd vllm
pip install -e .

完成上述步骤之后，在编写用于执行多GPU推断的应用程序时，应考虑如下要点来优化性能表现。

#### 初始化模型加载过程中的设备分配策略

当初始化模型实例化对象期间，可以利用`device_map='auto'`参数让PyTorch自动决定各个子模块放置在哪一块显卡上运行，从而简化跨多个GPU部署大型语言模型的过程[^1]:

from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("your_model_path")
model = AutoModelForCausalLM.from_pretrained(
    "your_model_path", 
    device_map='auto',  # 自动映射到可用的GPU资源
    torch_dtype=torch.float16  # 可选：降低精度以节省内存空间
)

#### 设置批处理大小与序列长度

合理调整输入批次尺寸(batch size)以及最大解码步数(maximum sequence length)，有助于平衡计算效率同硬件占用之间的关系。对于拥有更多GPU核心的情况而言，适当增加batch size往往能够带来更好的吞吐量提升效果。

#### 启用梯度检查点机制(Gradient Checkpointing)

如果目标是在保持较高推理速度的同时减少显存消耗，则可以在创建模型时开启gradient checkpointing特性。此功能允许系统仅保存部分中间激活状态而非全部历史记录，进而有效缓解因递归调用造成的存储压力增长问题:

import torch
from transformers import BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(llm_int8_enable_fp32_cpu_offload=True)
model.gradient_checkpointing_enable()

以上措施综合运用可显著改善Orca-7b等大体量预训练模型在多张图形处理器协同工作模式下的实际效能表现。