ubuntu vllm部署deepseek

使用 VLLM 在 Ubuntu 上部署 DeepSeek
创建 Python 虚拟环境并安装依赖项
为了确保软件包之间的兼容性和隔离性，建议创建一个新的 Conda 环境来处理此项目。
conda create -n vllm python==3.11
conda activate vllm
pip install vllm
登录后复制
上述命令会建立名为 vllm 的新环境，并安装所需的 Python 版本和库文件[^1]。
下载模型权重
由于 DeepSeek 是大型语言模型，其参数量巨大，在线获取可能耗时较长。官方通常提供预训练好的模型供用户下载：

对于较小规模的变体如 DeepSeek-R1-8B 可以直接从指定链接处拉取数据集；
更大规模版本则需注意硬件条件是否满足需求，例如对于 DeepSeek-R1-Distill-Llama-70B 这样的超大模型，则要确认有足够的存储空间与计算资源支持[^3]。

启动服务端口监听
完成前期准备工作之后就可以启动 API 接口了。一般情况下，默认配置即可正常运行；如果遇到 CUDA 不匹配的情况可以考虑更新驱动程序或者调整设置以适应当前设备状况。
from vllm import LLM, SamplingParams

# 初始化模型实例
model_path = "path/to/deepseek-r1-model"
llm = LLM(model=model_path)

# 设置采样参数
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)

# 测试生成文本功能
output = llm.generate("Once upon a time", sampling_params=sampling_params)
print(output)
登录后复制
这段代码展示了如何加载已保存的模型并通过简单的提示词来进行推理操作。
解决常见问题
当面对不同版本间的差异时，比如 CUDA 工具链冲突等难题，可以通过如下方法解决：

安装特定版本的 NVIDIA Toolkit 来适配现有 GPU 架构；
利用 Anaconda 渠道管理器简化第三方扩展组件集成过程，即执行 conda install cuda -c nvidia 命令添加必要的图形加速支持。