vllm本地部署大模型

### 部署 vLLM 大规模语言模型

#### 准备工作
为了成功部署vLLM，在本地环境中需先安装必要的依赖项和配置环境变量。确保Python版本不低于3.8，并已安装CUDA驱动程序以支持GPU加速运算[^1]。

#### 安装 vLLM 库
可以通过pip命令来快速安装最新版的vLLM库：

pip install vllm

此操作会下载并设置好运行vLLM所需的一切软件包，包括PyTorch和其他辅助工具。

#### 下载预训练模型权重文件
对于想要使用的特定大型语言模型（如GPT-2, GPT-3），需要从官方渠道获取对应的预训练参数文件。这些通常是以`.bin`或`.pt`格式存储。考虑到版权与许可问题，请遵循各模型发布方的规定合法获得使用权[^3]。

#### 加载模型与初始化服务端口
一旦拥有模型权重文件之后，则可通过如下代码片段加载指定的大规模语言模型实例，并启动HTTP API服务器监听来自客户端请求的数据流：

from vllm import LLM, SamplingParams

# 初始化大规模语言模型对象
model_path = "path/to/your/model"
llm = LLM(model=model_path)

# 设置采样参数
sampling_params = SamplingParams(temperature=0.7, top_p=0.95)

# 启动API接口供外部调用
app.run(host='localhost', port=8000)

上述脚本创建了一个基于所选架构的新LLM实例，并指定了用于控制随机性的超参；最后一步则是开启web服务以便其他应用程序能够发送文本生成任务给这个节点处理。